Linux 日志分析实战：grep 组合 awk/sed 实现 5 类复杂多关键字过滤

Linux 日志分析实战grep 组合 awk/sed 实现 5 类复杂多关键字过滤日志分析是每个运维工程师和开发者的必修课。当服务器出现异常时我们需要快速从海量日志中定位问题当业务出现波动时我们需要从访问日志中分析用户行为。而 grep、awk 和 sed 这三大文本处理神器正是解决这些问题的瑞士军刀。本文将带你深入实战通过 5 个典型场景展示如何组合这些命令实现复杂过滤。不同于基础教程只讲解单一命令我们聚焦于工具间的协作解决真实工作中的日志分析难题。1. 基础准备理解 grep 的三种匹配模式在开始组合命令前我们需要夯实基础。grep 支持三种正则表达式语法这直接影响我们如何编写匹配模式# 基本正则表达式(BRE) - 需要转义特殊字符 grep error\|warning /var/log/syslog # 扩展正则表达式(ERE) - 不需要转义 grep -E error|warning /var/log/syslog # Perl兼容正则(PCRE) - 功能最强大 grep -P \d{4}-\d{2}-\d{2} /var/log/nginx/access.log关键区别BRE 中|、、?等元字符需要转义ERE 中这些元字符可以直接使用PCRE 支持更复杂的特性如向前向后断言提示在性能敏感的场景BRE 通常比 ERE 和 PCRE 更快因为它的匹配算法更简单。2. 多条件过滤实现与、或、非逻辑实际工作中我们很少只需要匹配单个关键词。更常见的是需要组合多个条件的复杂查询。2.1 或逻辑OR - 匹配任意条件查找包含 error、warning 或 critical 的日志行# 基本正则写法需要转义| grep error\|warning\|critical /var/log/syslog # 扩展正则写法更清晰 grep -E error|warning|critical /var/log/syslog # 等价于 egrep error|warning|critical /var/log/syslog2.2 与逻辑AND - 必须同时满足查找同时包含 failed 和 connection 的行grep failed /var/log/nginx/error.log | grep connection这种管道方式会先筛选包含 failed 的行再从结果中筛选包含 connection 的行。2.3 非逻辑NOT - 排除特定内容查找包含 error 但不包含 timeout 的行grep error /var/log/syslog | grep -v timeout-v参数表示反向匹配即排除匹配的行。3. 上下文提取显示匹配行前后的内容单纯看到匹配行往往不够我们需要上下文来理解日志的完整场景。# 显示匹配行及其后5行 grep -A 5 panic /var/log/kern.log # 显示匹配行及其前3行 grep -B 3 segmentation fault /var/log/syslog # 显示匹配行及其前后各2行 grep -C 2 Out of memory /var/log/messages参数说明-A NUM显示匹配行后的 NUM 行After-B NUM显示匹配行前的 NUM 行Before-C NUM显示匹配行前后各 NUM 行Context4. 高级过滤结合 awk 进行字段级处理当需要基于特定字段进行过滤时awk 比 grep 更加强大。考虑这个 Nginx 访问日志片段192.168.1.1 - - [10/Oct/2023:14:32:01 0800] GET /api/user HTTP/1.1 200 1234 192.168.1.2 - - [10/Oct/2023:14:32:02 0800] POST /api/login HTTP/1.1 401 5674.1 查找状态码为 500 的请求awk $9 500 {print} /var/log/nginx/access.log4.2 查找 POST 请求且响应时间大于 1 秒的请求假设日志中包含响应时间如 $request_timeawk $6 \POST $(NF-1) 1 {print} /var/log/nginx/access.log4.3 结合 grep 和 awk 进行复杂过滤查找包含 api 的 URL 且状态码为 4xx 或 5xx 的请求grep /api/ /var/log/nginx/access.log | awk $9 ~ /^[45][0-9]{2}$/5. 实战案例Nginx 访问日志分析脚本下面是一个完整的 Nginx 日志分析脚本综合运用了 grep、awk、sort 和 uniq#!/bin/bash LOG_FILE/var/log/nginx/access.log # 1. 统计最频繁的10个IP echo Top 10 IPs: awk {print $1} $LOG_FILE | sort | uniq -c | sort -nr | head -10 # 2. 统计最频繁的10个URL echo -e \nTop 10 URLs: awk -F {print $2} $LOG_FILE | awk {print $2} | sort | uniq -c | sort -nr | head -10 # 3. 统计不同状态码的数量 echo -e \nStatus code statistics: awk {print $9} $LOG_FILE | sort | uniq -c | sort -nr # 4. 统计5xx错误的请求 echo -e \n5xx Errors: grep -E 5[0-9]{2} $LOG_FILE | awk -F {print $2 - $1} # 5. 查找可疑扫描行为频繁404 echo -e \nPossible scanners (frequent 404s): awk $9 404 {print $1 - $7} $LOG_FILE | sort | uniq -c | sort -nr | head -5脚本功能统计访问最频繁的客户端IP找出最常访问的URL分析不同HTTP状态码的分布提取所有5xx服务器错误检测可能的恶意扫描行为频繁4046. 性能优化处理大型日志文件的技巧当日志文件很大时GB级别命令的效率变得至关重要。以下是一些实用技巧使用 LC_ALLC临时设置区域设置为C可显著加快grep速度LC_ALLC grep error huge.log减少管道数量每个管道都会创建新进程影响性能# 较差 - 多个管道 cat huge.log | grep error | grep -v debug # 更好 - 单个grep完成 grep error huge.log | grep -v debug # 最佳 - 使用awk一次性处理 awk /error/ !/debug/ huge.log使用更快的替代工具ag(The Silver Searcher)比grep更快ripgrep(rg)现代高效的文本搜索工具并行处理使用GNU parallel处理超大文件cat huge.log | parallel --pipe grep error注意在处理生产环境日志时始终先在日志备份或测试环境验证命令避免意外修改或删除重要数据。