awk에서 특정 내용 중복제거
오늘 같이 일하는 분의 의뢰(?)로 검색했는데, 생각보다 간단하게 텍스트의 중복을 제거할 수 있다. 아파치 로그에서 유니크한 사용자ID같은 것을 쉽게 추출할 수 있을 것 같다. 간단하지만 자주 안 쓰면 잊어 먹으므로 남겨놓는다.
1 2 3 4 5 6 7 8 9 |
{ if (data[$0]++ == 0) lines[++count] = $0 } END { for (i = 1; i <= count; i++) print lines[i] } |
코드는 길지만(?) 제일 중요한 라인은 결국 (data[$0]++ ==… 더 보기 »awk에서 특정 내용 중복제거