awk에서 특정 내용 중복제거

오늘 같이 일하는 분의 의뢰(?)로 검색했는데, 생각보다 간단하게 텍스트의 중복을 제거할 수 있다. 아파치 로그에서 유니크한 사용자ID같은 것을 쉽게 추출할 수 있을 것 같다. 간단하지만 자주 안 쓰면 잊어 먹으므로 남겨놓는다.

코드는 길지만(?) 제일 중요한 라인은 결국 (data[$0]++ ==… 더 보기 »awk에서 특정 내용 중복제거

sed 스크립트

sed에서 -n 옵션은 기본출력을 하지 않겠다는 의미(전체를 한번 출력함), = 옵션은 해당 라인번호, p 옵션은 일치하는 것만 출력하겠다는 의미이다. grep/sed/awk 다 비슷한 스크립트인데, 결국 파일내용을 1줄씩 input을 잡기때문에.. 여러줄(멀티라인)에 걸친 내용을 찾고 싶을 때는 제대로 동작을 안한다. 그래서 내가… 더 보기 »sed 스크립트

windows ecipse에서 sh 작성시 오류발생

windows에서는 새로운 텍스트 라인의 경우 \r\n을 받는데, unix(linux)의 경우에는 \n만을 받게 된다. 윈도우 환경에서 eclipse 사용 시에 스크립트를 작성해서 commit 후 터미널에서 실행하게 되면… /bin/sh^M: bad interpreter 라는 오류가 발생한다. 새로운 텍스트 라인에 대한 delimiter가 달라서 발생하는 문제다. 해결하기 위한… 더 보기 »windows ecipse에서 sh 작성시 오류발생