nginx日志分析shell脚本

时间：2022-06-30 18:48:21 编辑：袖梨来源：一聚教程网

先基本了解一几条命令

一下脚本都是基于上面日志格式的，如果你的日志格式不同需要调整awk后面的参数。

分析日志中的UserAgent

代码如下	复制代码
cat access_20130704.log \| awk -F """ '{print $(NF-3)}' \| sort \| uniq -c \| sort -nr \| head -20

上面的脚本将分析出日志文件中最多的20个UserAgent

分析日志中那些IP访问最多

代码如下	复制代码
cat access_20130704.log \| awk '{print $1}' \| sort \| uniq -c \| sort -nr \| head -20

分析日志中那些
Url请求访问次数最多

代码如下	复制代码
cat access_20130704.log \| awk -F """ '{print $(NF-5)}' \| sort \| uniq -c \| sort -nr \| head -20

下面我们进入正题了，利用grep的强大体现在N多方面，这里用grep正则表达式来分析nginx日志，为了方便多次使用，写脚本留念。暂时命名为 nla.sh

可以根据自己的需要修改，被grep的东西，来得到自己想要的结果。

代码如下

复制代码

#!/bin/bash

#################################################
#
# 这是一个 nginx 默认日志分析脚本
# 主要使用grep来工作
#
# 考虑到很多人喜欢把日志按日期分割并gz
# 加入了简单的gz格式判断
# 日志分析完成后会把文件还原
# ccshaowei#gmail.com
# 2012/05/13
# http://shaowei.info/
################################################

# 修改下面一行为日志位置
log_dir='access.log-*'
##########
# $key为grep的关键字，$word为提示，要求一一对应，数量相同
##########
#http 代码
key[0]='" 200 [0-9]{3}';word[0]='http 200'
key[1]='" 206 [0-9]{3}';word[1]='http 206'
key[2]='" 404 [0-9]{3}';word[2]='http 404'
key[3]='" 503 [0-9]{3}';word[3]='http 503'
##########
# seo/seo.html" target="_blank">搜索引擎爬虫
key[4]='Googlebot.*google.com/bot.html';word[4]='来自Google爬虫'
key[5]='Baiduspider.*baidu.com/search/spider.html';word[5]='来自百度蜘蛛'
key[6]='bingbot.*bing.com/bingbot.htm';word[6]='来自Bing爬虫'
#Soso 'Sosospider.*soso.com/webspider.htm'
#有道 'YoudaoBot.*youdao.com/help/webmaster/spider/'
#Yahoo中国 'Yahoo! Slurp China'
##########
# 浏览器
key[7]='MSIE';word[7]='MSIE'
key[8]='Gecko/.*Firefox';word[8]='Firefox'
key[9]='AppleWebKit.*like Gecko';word[9]='Webkit'
key[10]='Opera.*Presto';word[10]='Opera'
#360安全 'MSIE.*360SE' 或加ie内核版本 'MSIE 6.0 .*360SE' 'MSIE 7.0 .*360SE' 'MSIE 8.0 .*360SE' 'MSIE 9.0 .*360SE'
#360急速 'AppleWebKit.*QIHU 360EE'
##########
# 操作系统
key[11]='Windows NT 6.1';word[11]='Windows 7'
key[12]='Macintosh; Intel Mac OS X';word[12]='Mac OS X'
key[13]='X11.*Linux';word[13]='Linux with X11'
key[14]='Android;';word[14]='Android'
#Windows系列 win2000'Windows NT 5.0' winxp'Windows NT 5.1' winvasta'Windows NT 6.0' win7'Windows NT 6.1'
#SymbianOS 'SymbianOS'
##########
# 设备
key[15]='iPad.*like Mac OS X';word[15]='iPad'
key[16]='Nokia';word[16]='诺基亚系列'
key[17]='Nokia5800';word[17]='Nokia5800 XpressMusic'
#iPhone 'iPhone.*like Mac OS X'
##########
# 其他
key[18]='GET /.*.mp3 HTTP';word[18]="访问mp3文件"
key[19]='GET /.*.jpg HTTP';word[19]="访问jpg文件"

# 配置结束
##############################################################################

log_num=$(ls ${log_dir} | wc -l)
fileid=0
isgz=0
#gz检查
for file in $(ls ${log_dir})
do
if [ "${file##*.}" = "gz" ]; then
        isgz[$fileid]=1
        gzip -dvf $file
        logfile[$fileid]=$(echo $file | sed 's/.gz$//')
        (( fileid++ ))
else
        isgz[$fileid]=0
        logfile[$fileid]=$file
        (( fileid++ ))
fi
done
# 检查key和 word 的数量是否一致
if [ ${#word[@]} -ne ${#key[@]} ]
then
echo "配置有错误，key和word的数量不一致"
else

checkid=0
while [ $checkid -lt $log_num ]
do
filename=${logfile[$checkid]}
totle=$(cat $filename | wc -l)
echo "日志 ${filename} 共 ${totle} 行，需要处理 ${#key[@]} 项"
echo "来源IP数：$(cat $filename | awk '{print $1}' |sort|uniq|wc -l)"
i=0
while [ $i -lt ${#key[@]} ]
do
s1=${word[$i]}
s2=$(cat $filename | grep ''"${key[$i]}"'' | wc -l)
s3=$(awk 'BEGIN{printf "%.2f%n",('$s2'/'$totle')*100}')
echo "${s3} ${s1}: ${s2}"
((i++))
done
(( checkid++ ))
echo "-----------------"
done
fi
# 还原压缩文件
gzid=0
while [ $gzid -lt $log_num ]
do
if [ "${isgz[$gzid]}" = "1" ]
then
gzip -v ${logfile[$gzid]}
fi
(( gzid++ ))
done

运行结果范例如下：

[root@hostname temp]# ls -lh
总用量 299M
-rw-r----- 1 root root 11M 5月 14 13:25 access.log-20120508.gz
-rw-r----- 1 root root 158M 5月 14 13:25 access.log-20120509
-rw-r----- 1 root root 2.2M 5月 14 13:25 access.log-20120510.gz
-rw-r----- 1 root root 129M 5月 14 13:25 access.log-20120511
-rwxr-xr-x 1 root root 3.4K 5月 14 13:10 nla.sh
[root@hostname temp]# sh nla.sh
access.log-20120508.gz:     93.5% -- replaced with access.log-20120508
access.log-20120510.gz:     93.9% -- replaced with access.log-20120510
日志 access.log-20120508 共 643281 行，需要处理 20 项
来源IP数：7483
44.52%    http 200: 286400
3.55%    http 206: 22824
20.23%    http 404: 130128
14.31%    http 503: 92029
1.94%    来自Google爬虫: 12491
2.01%    来自百度蜘蛛: 12943
0.90%    来自Bing爬虫: 5780
76.53%    MSIE: 492291
2.21%    Firefox: 14209
7.03%    Webkit: 45215
0.27%    Opera: 1736
25.17%    Windows 7: 161935
1.37%    Mac OS X: 8830
0.03%    Linux with X11: 202
0.03%    Android: 190
0.11%    iPad: 677
0.50%    诺基亚系列: 3207
0.02%    Nokia5800 XpressMusic: 102
36.06%    访问mp3文件: 231959
23.10%    访问jpg文件: 148600
-----------------
日志 access.log-20120509 共 608316 行，需要处理 20 项
来源IP数：7429
45.15%    http 200: 274651
1.79%    http 206: 10884
15.59%    http 404: 94854
19.95%    http 503: 121376
2.83%    来自Google爬虫: 17245
1.80%    来自百度蜘蛛: 10970
0.23%    来自Bing爬虫: 1410
78.96%    MSIE: 480324
1.28%    Firefox: 7783
7.85%    Webkit: 47774
0.43%    Opera: 2597
22.85%    Windows 7: 139022
0.63%    Mac OS X: 3827
0.06%    Linux with X11: 389
0.06%    Android: 372
0.06%    iPad: 351
0.19%    诺基亚系列: 1158
0.00%    Nokia5800 XpressMusic: 4
34.94%    访问mp3文件: 212555
23.46%    访问jpg文件: 142702
-----------------
日志 access.log-20120510 共 141224 行，需要处理 20 项
来源IP数：2040
50.15%    http 200: 70823
1.67%    http 206: 2354
14.15%    http 404: 19987
17.37%    http 503: 24534
4.53%    来自Google爬虫: 6399
2.66%    来自百度蜘蛛: 3754
0.44%    来自Bing爬虫: 622
69.34%    MSIE: 97921
1.19%    Firefox: 1682
9.54%    Webkit: 13470
0.53%    Opera: 742
19.37%    Windows 7: 27351
1.23%    Mac OS X: 1737
0.03%    Linux with X11: 45
0.00%    Android: 0
0.09%    iPad: 130
0.86%    诺基亚系列: 1220
0.00%    Nokia5800 XpressMusic: 0
30.29%    访问mp3文件: 42777
23.91%    访问jpg文件: 33768
-----------------
日志 access.log-20120511 共 473259 行，需要处理 20 项
来源IP数：5093
44.91%    http 200: 212551
1.96%    http 206: 9286
15.14%    http 404: 71671
21.20%    http 503: 100322
2.44%    来自Google爬虫: 11548
1.40%    来自百度蜘蛛: 6616
3.40%    来自Bing爬虫: 16068
76.75%    MSIE: 363224
0.93%    Firefox: 4388
6.75%    Webkit: 31937
0.31%    Opera: 1444
28.62%    Windows 7: 135444
0.43%    Mac OS X: 2057
0.02%    Linux with X11: 116
0.00%    Android: 0
0.09%    iPad: 419
0.23%    诺基亚系列: 1094
0.00%    Nokia5800 XpressMusic: 0
35.77%    访问mp3文件: 169274
22.46%    访问jpg文件: 106299
-----------------
access.log-20120508:     93.5% -- replaced with access.log-20120508.gz
access.log-20120510:     93.9% -- replaced with access.log-20120510.gz
[root@hostname temp]# ls -lh
总用量 299M
-rw-r----- 1 root root 11M 5月 14 13:25 access.log-20120508.gz
-rw-r----- 1 root root 158M 5月 14 13:25 access.log-20120509
-rw-r----- 1 root root 2.2M 5月 14 13:25 access.log-20120510.gz
-rw-r----- 1 root root 129M 5月 14 13:25 access.log-20120511
-rwxr-xr-x 1 root root 3.4K 5月 14 13:10 nla.sh

推荐专题

最新下载

热门教程

nginx日志分析shell脚本

相关文章

热门栏目

php教程

asp.net教程

手机开发

css教程

网页制作

办公数码

jsp教程