오늘 같이 일하는 분의 의뢰(?)로 검색했는데, 생각보다 간단하게 텍스트의 중복을 제거할 수 있다. 아파치 로그에서 유니크한 사용자ID같은 것을 쉽게 추출할 수 있을 것 같다. 간단하지만 자주 안 쓰면 잊어 먹으므로 남겨놓는다.
|
1 2 3 4 5 6 7 8 9 |
{ if (data[$0]++ == 0) lines[++count] = $0 } END { for (i = 1; i <= count; i++) print lines[i] } |
코드는 길지만(?) 제일 중요한 라인은 결국 (data[$0]++ ==… 더 보기 »awk에서 특정 내용 중복제거
|
1 2 3 4 5 6 7 8 9 10 11 12 |
#!/bin/bash exp="freeism-dn?dn=" folder="./result" for LINE in ls $folder do filename=basename $LINE linenumber=sed -n "/$exp/ =" $folder/$filename | tail -1 let "start = $linenumber - 6" let "end = $linenumber +3" sed -n "$start, $end p" $folder/$filename done |
sed에서 -n 옵션은 기본출력을 하지 않겠다는 의미(전체를 한번 출력함), = 옵션은 해당 라인번호, p 옵션은 일치하는 것만 출력하겠다는 의미이다. grep/sed/awk 다 비슷한 스크립트인데, 결국 파일내용을 1줄씩 input을 잡기때문에.. 여러줄(멀티라인)에 걸친 내용을 찾고 싶을 때는 제대로 동작을 안한다. 그래서 내가… 더 보기 »sed 스크립트
관리하는 서비스에서 오류를 확인하기 위해서 스크립트를 만들었다.
|
1 2 3 |
#!/bin/sh today=date "+%Y%m%d" log_file='apache.log' tail -f $log_file.$today | awk '($9 != 200 && $9 != 302 && $9 != 304) {print $0}' |
|
1 2 3 |
#!/bin/sh log_file='catalina.out' tail -f $log_file | awk '/ERROR/ || /WARN/ || /Exception/ {print $0}' |
아파치의 경우에는 로테이트 로그 되므로 날짜를 지정하게 했다. 200, 302, 304 status code는 정상이므로 걸러내고, 나머지에 대해서만 필터링해서 출력하는 코드이다. 톰캣의 경우에는 그냥 파일이름만 있으면 된다. 대충 ERROR나 WARN 혹은 Exception이라는… 더 보기 »remote server 로그 모니터링 스크립트
0) prologue 1) awk는 ? : 설계자인 Aho, Weingrger, Kernighan 의 첫 글자로 명명되어진 인터프리터 프로그래밍 언어이다. 필터링, 치환, 간단한 리포팅 작업을 할 수 있어서 편리하다. 화면에 출력되는 내용을 열로 나누어 특정열만 뽑아내는 명령이다.(explode와 비슷) 2) awk의 형식 ? :… 더 보기 »awk를 이용한 웹서버 로그 분석