sed 是一种流编辑器，它是文本处理中非常有用的工具，能够完美的配合正则表达式使用，功能不同凡响。

sed 处理时，把当前处理的行存储在临时缓冲区中，称为『模式空间』（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。sed主要用来自动编辑一个或多个文件，简化对文件的反复操作，编写转换程序等。

 

sed 参数选项

命令格式

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

选项 [options]

参数 完整参数 说明
-e script --expression=script 以选项中的指定的script来处理输入的文本文件
-f script --files=script 以选项中的指定的script文件来处理输入的文本文件
-i[SUFFIX] --in-place[=SUFFIX] 对文件进行原地编辑，若不修改文件可不指定 -i
-h --help 显示帮助
-n --quiet --silent 仅显示script处理后的结果
-V --version 显示版本信息

注意：在使用 -i 选项时，sed 会先将原文件备份，备份文件的扩展名为 .bak。若不想保留这个备份文件，可以使用 -i.bak 选项，这样备份文件会以 .bak 的形式出现，而不是隐藏的文件。详见帮助文档 -i[SUFFIX], --in-place[=SUFFIX]  ：edit files in place (makes backup if SUFFIX supplied)

 

sed 命令

命令 说明
d 删除，删除匹配选择的行
D 删除模板块的第一行
s 替换指定字符，一般与 g 搭配使用，例如: sed -i "s/old/new/g" test.txt
h 拷贝模板块的内容到内存中的缓冲区
H 追加模板块的内容到内存中的缓冲区
g 获得内存缓冲区的内容，并替代当前模板块中文本
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面
l 列表不能打印字符的清单
a 匹配某一行，在其下一行插入内容（append）
i 匹配某一行，在其上一行插入内容（insert）
n 匹配某一行，在其下一行修改替换（next）
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码
p 打印模板块的行
P 打印模板块的第一行
q 退出sed
b label 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾
r file 从file中读行
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾
w file 写并追加模板块到file末尾
W file 写并追加模板块的第一行到file末尾
! 表示后面的命令对所有没有被选定的行发生作用
= 打印当前行号
# 把注释扩展到第一个换行符以前

 

sed 替换标记

命令 说明
g 表示行内全面替换
p 表示打印行
w 表示把行写入一个文件
x 表示互换模板块中的文本和缓冲区中的文本
y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）
\1 子串匹配标记
& 已匹配字符串标记

 

sed 元字符集

命令 说明
^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符，如/[sS]ed/匹配sed和Sed。
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
(..) 匹配子串，保存匹配的字符，如s/(love)able/\1rs，loveable被替换成lovers。
& 保存搜索字符用来替换其他字符，如s/love/&/，love这成love。
< 匹配单词的开始，如:/<love/匹配包含以love开头的单词的行。
 > 匹配单词的结束，如/love>/匹配包含以love结尾的单词的行。
x{m} 重复字符x，m次，如：/0{5}/匹配包含5个0的行。
x{m,} 重复字符x，至少m次，如：/0{5,}/匹配至少有5个0的行。
x{m,n} 重复字符x，至少m次，不多于n次，如：/0{5,10}/匹配5~10个0的行。

sed 用法实例

先准备一个测试文件

# cat test.txt
my cat's name is betty
This is your dog
my dog's name is frank
This is your fish
my fish's name is george
This is your goat
my goat's name is adam

 

s命令替换文本中的字符串：

# sed 's/This/aaa/' test.txt
my cat's name is betty
aaa is your dog
my dog's name is frank
aaa is your fish
my fish's name is george
aaa is your goat
my goat's name is adam

 

-n选项和p命令一起使用，表示只打印那些发生替换的行：

# sed -n 's/This/aaa/p' test.txt
aaa is your dog
aaa is your fish
aaa is your goat

 

测试过程中发现 MacOS 和 Linux CentOS 有点不一样，换回centos 6.5进行测试

直接编辑文件需指定选项-i，会匹配test.txt文件中每一行的第一个This替换为this

# sed -i 's/This/this/' test.txt
# cat test.txt
my cat's name is betty
this is your dog
my dog's name is frank
this is your fish
my fish's name is george
this is your goat
my goat's name is adam

 

全面替换标记g

使用后缀 /g 标记会替换每一行中的所有匹配：

# sed 's/this/This/g' test.txt
my cat's name is betty
This is your This dog
my dog's name is This frank
This is your fish
my fish's name is This george
This is your goat
my goat's name is This adam

 

当需要从第N处匹配开始替换时，可以使用 /Ng

# echo sksksksksksk | sed 's/sk/SK/2g'
skSKSKSKSKSK
# echo sksksksksksk | sed 's/sk/SK/3g'
skskSKSKSKSK
# echo sksksksksksk | sed 's/sk/SK/4g'
skskskSKSKSK

 

自定义定界符

以上命令中字符 / 在sed中作为定界符使用，也可以使用任意的定界符，例如 ":", "|" 等

# echo sksksksksksk | sed 's:sk:SK:4g'
skskskSKSKSK
# echo sksksksksksk | sed 's|sk|SK|4g'
skskskSKSKSK

 

定界符出现在样式内部时，需要进行转义"\"：

# echo '/usr/local/bin' | sed 's/\/usr\/local\/bin/\/USR\/LOCAL\/BIN/g'
/USR/LOCAL/BIN

 

删除操作：d命令

删除空白行：

# cat test.txt
my cat's name is betty

this is your this dog

my dog's name is this frank

this is your fish

my fish's name is this george

this is your goat

my goat's name is this adam

# sed '/^$/d' test.txt
my cat's name is betty
this is your this dog
my dog's name is this frank
this is your fish
my fish's name is this george
this is your goat
my goat's name is this adam

 

删除文件的第2行：

# sed '2d' test.txt
my cat's name is betty
my dog's name is this frank
this is your fish
my fish's name is this george
this is your goat
my goat's name is this adam

 

删除文件的第2行到末尾所有行：

# sed '2,$d' test.txt
my cat's name is betty

 

删除文件最后一行：

# sed '$d' test.txt
my cat's name is betty
this is your this dog
my dog's name is this frank
this is your fish
my fish's name is this george
this is your goat

 

删除文件中所有以my开头的行：

# sed '/^my/'d test.txt
this is your this dog
this is your fish
this is your goat

 

已匹配字符串标记 &

正则表达式\w\+匹配每一个单词，使用[&]替换它，其中&对应所匹配到的单词：

# echo "this is a test line" | sed 's/\w\+/[&]/g'
[this] [is] [a] [test] [line]

 

子串匹配标记\1

匹配给定样式的其中一部份：

# echo "this is digit 7 in a number" | sed 's/digit \([0-9]\)/\1/'
this is 7 in a number

命令中digit 7，被替换成7.样式匹配到的子串是7，\(..\)用于匹配子串，对于匹配到的第一个子串标记为\1

依此类推匹配到的第二个结果就是\2，例如：

# echo aaa BBB | sed 's/\([a-z]\+\) \([A-Z]\+\)/\2 \1/'
BBB aaa

 

选定行的范围：, (逗号)

打印从第5行开始到第一个包含以this开始的行之间的所有行：

# sed -n '5,/^this/p' test.txt
my fish's name is this george
this is your goat

 

组合多个表达式

sed '表达式' | sed '表达式'

等价于

sed '表达式; 表达式'

 

变量引用

sed表达式可以使用单引号来引用，但是如果表达式内部包含变量字符串，就需要使用双引号

# test=hello
# echo "hello WORLD" | sed "s/$test/HELLO/"
HELLO WORLD

 

多处匹配，多处增删改查：e命令

-e选项允许在同一行里执行多条命令：

# sed -e '1,5d' -e 's/my/MY/' test.txt
this is your goat
MY goat's name is this adam

上面sed表达式的第一条命令删除1至5行，第二条命令用MY替换my

命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个命令将影响第二个命令的结果。

和 -e 等价的命令是 --expression：add the script to the commands to be executed

 

匹配某行，从文件读取内容写入：r命令

file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面：

# cat test1.txt
aaaaaaaa
# sed '/my/r test1.txt' test.txt
my cat's name is betty
aaaaaaaa
this is your this dog
my dog's name is this frank
aaaaaaaa
this is your fish
my fish's name is this george
aaaaaaaa
this is your goat
my goat's name is this adam
aaaaaaaa

 

匹配行内容，都写入新文件：w命令

在test.txt中所有包含my的行都被写入test2.txt里：

# sed -n '/my/w test2.txt' test.txt
# cat test2.txt
my cat's name is betty
my dog's name is this frank
my fish's name is this george
my goat's name is this adam

 

匹配某一行，在其下一行追加内容：a\命令

在匹配某一行后插入新行：

sed -i '/pattern/a\new line' filename

在文件的最后一行后插入新行：

sed -i '$a\new line' filename

 

将this is a test line 追加到以my开头的行后面：

# sed '/^my/a\this is a test line' test.txt
my cat's name is betty
this is a test line
this is your this dog
my dog's name is this frank
this is a test line
this is your fish
my fish's name is this george
this is a test line
this is your goat
my goat's name is this adam
this is a test line

在text.txt文件第2行之后插入this is a test line:

# sed '2a\this is a test line' test.txt
my cat's name is betty
this is your this dog
this is a test line
my dog's name is this frank
this is your fish
my fish's name is this george
this is your goat
my goat's name is this adam

 

匹配某一行，在其上一行插入内容：i\命令

在文件的第一行前插入新行：

sed -i '1i\new line' filename

在匹配某一行前插入新行：

sed -i '/pattern/i\new line' filename

 

将this is a test line 插入到以my开头的行前面：

# sed '/^my/i\this is a test line' test.txt
this is a test line
my cat's name is betty
this is your this dog
this is a test line
my dog's name is this frank
this is your fish
this is a test line
my fish's name is this george
this is your goat
this is a test line
my goat's name is this adam

 

匹配某一行，在其下一行修改替换：n命令

如果my被匹配，则移动到匹配行的下一行，替换这一行的this为This，并打印该行：

# sed '/my/{n; s/this/This/; }' test.txt
my cat's name is betty
This is your this dog
my dog's name is this frank
This is your fish
my fish's name is this george
This is your goat
my goat's name is this adam

 

变形：y命令

把1-10行内所有的abcde转变为大写，注意，正则表达式元字符不能使用这个命令：

# sed '1,10y/abcde/ABCDE/' test.txt
my CAt's nAmE is BEtty
this is your this Dog
my Dog's nAmE is this frAnk
this is your fish
my fish's nAmE is this gEorgE
this is your goAt
my goAt's nAmE is this ADAm

 

退出：q命令

打印完前3行后，退出sed

# sed '3q' test.txt
my cat's name is betty
this is your this dog
my dog's name is this frank

 

打印奇数行或偶数行

方法1：

奇数行

# sed -n 'p;n' test.txt
my cat's name is betty
my dog's name is this frank
my fish's name is this george
my goat's name is this adam

偶数行

# sed -n 'n;p' test.txt
this is your this dog
this is your fish
this is your goat

方法2：

sed -n '1~2p' test.txt    # 奇数行
sed -n '2~2p' test.txt    # 偶数行

更多的需要在以后的工作中慢慢摸索，上面只是一个简单的记录

 

 

sed 实例

日志文件格式

# tail -n20 tmp_deny_ip_2_url_gz.txt 
2019-12-08__03:41:00.052    271 172.81.214.240 TCP_TUNNEL/200 6204 CONNECT c0.3.cn:443 - HIER_DIRECT/c0.3.cn -
2019-12-08__03:41:00.724  15959 212.64.71.75 TCP_TUNNEL/200 37110 CONNECT item.jd.com:443 - HIER_DIRECT/item.jd.com -
2019-12-08__03:41:00.758  31969 172.81.214.240 TCP_TUNNEL/200 120190 CONNECT detail.vip.com:443 - HIER_DIRECT/detail.vip.com -
2019-12-08__03:41:00.758  36562 172.81.214.240 TCP_TUNNEL/200 5309 CONNECT www.xiaohongshu.com:443 - HIER_DIRECT/www.xiaohongshu.com -
2019-12-08__03:41:00.774  12563 212.64.71.75 TCP_TUNNEL/200 6245 CONNECT cd.jd.com:443 - HIER_DIRECT/cd.jd.com -
2019-12-08__03:41:00.776   9754 212.64.71.75 TCP_TUNNEL/200 30289 CONNECT item.jd.com:443 - HIER_DIRECT/item.jd.com -
2019-12-08__03:41:00.776  13086 172.81.214.240 TCP_TUNNEL/200 12029 CONNECT pe.3.cn:443 - HIER_DIRECT/pe.3.cn -
2019-12-08__03:41:00.777     44 172.81.214.240 TCP_MISS/200 692 GET http://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/? - HIER_DIRECT/h5api.m.taobao.com application/json
2019-12-08__03:41:00.780   9401 172.81.214.240 TCP_TUNNEL/200 3672 CONNECT api.mengtuiapp.com:443 - HIER_DIRECT/api.mengtuiapp.com -
2019-12-08__03:41:00.808  26603 172.81.214.240 TCP_TUNNEL/200 7119 CONNECT review.suning.com:443 - HIER_DIRECT/review.suning.com -
2019-12-08__03:41:00.815  40008 212.64.71.75 TCP_TUNNEL/200 9701 CONNECT cd.jd.com:443 - HIER_DIRECT/cd.jd.com -
2019-12-08__03:41:00.817  30219 212.64.71.75 TCP_TUNNEL/200 77540 CONNECT so.m.jd.com:443 - HIER_DIRECT/so.m.jd.com -
2019-12-08__03:41:00.825  37991 172.81.214.240 TCP_TUNNEL/200 19766 CONNECT pe.3.cn:443 - HIER_DIRECT/pe.3.cn -
2019-12-08__03:41:00.839  11037 212.64.71.75 TCP_TUNNEL/200 4027 CONNECT www.xiaohongshu.com:443 - HIER_DIRECT/www.xiaohongshu.com -
2019-12-08__03:41:00.892     46 172.81.214.240 TCP_MISS/200 692 GET http://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/? - HIER_DIRECT/h5api.m.taobao.com application/json
2019-12-08__03:41:00.914  17918 212.64.71.75 TCP_TUNNEL/200 38767 CONNECT detail.vip.com:443 - HIER_DIRECT/detail.vip.com -
2019-12-08__03:41:01.183    463 172.81.214.240 TCP_TUNNEL/200 4215 CONNECT c.3.cn:443 - HIER_DIRECT/c.3.cn -
2019-12-08__03:41:01.570    810 212.64.71.75 TCP_TUNNEL/200 6548 CONNECT c0.3.cn:443 - HIER_DIRECT/c0.3.cn -
2019-12-08__03:41:01.627    844 212.64.71.75 TCP_TUNNEL/200 4216 CONNECT c.3.cn:443 - HIER_DIRECT/c.3.cn -
2019-12-08__03:41:01.720    896 172.81.214.240 TCP_TUNNEL/200 4215 CONNECT c.3.cn:443 - HIER_DIRECT/c.3.cn -

如果直接根据第七列域名，统计排序为：

grep -iE "183.136.238.221|183.136.238.194" tmp_deny_ip_2_url_gz.txt | awk '{print $7}' | sort | uniq -c | sort -k1n > ccc.txt && tail ccc.txt

但是，这有个问题，就是 c0.3.cn:443 和 c0.3.cn 和 http://c0.3.cn 会按照三个不同的域名统计，显然不科学。

正确的统计应该是 都按照域名 c0.3.cn 进行统计为一个域名

 

现在，需要把上面日志的第七列 域名，全部只保留host域名，去掉 :443 ，http:// ，/h5/mtop.taobao.detail.getdetail/6.0/? 等

例如：c0.3.cn:443  保留 c0.3.cn ； item.jd.com:443 保留 item.jd.com ； http://h5api.m.taobao.com/h5/mtop.taobao.detail.getdetail/6.0/? 保留 h5api.m.taobao.com

实现脚本如下：

grep -iE "183.136.238.221|183.136.238.194" tmp_deny_ip_2_url_gz.txt | awk '{print $7}' > aaa.txt 
sed -i "s/http\:\/\///g" aaa.txt 
cat aaa.txt | awk -F '[:/]' '{print $1}' > aaa2.txt
sort aaa2.txt | uniq -c | sort -k1n > ccc2.txt && tail ccc2.txt

上面代码说明：

第一行，过滤特定ip的第七列域名，保存在临时文件 aaa.txt 里；若不过滤特定ip，则直接过滤第七列 cat tmp_deny_ip_2_url_gz.txt | awk '{print $7}' > aaa.txt

第二行，sed 修改临时文件 aaa.txt，去掉 http://

第三行，提取临时文件 aaa.txt 的第一列域名，分隔符为 [:/]  ，冒号 : 分隔 :443 ，斜杠 / 分隔路径

第四行，提取的域名，排序、统计，然后统计后排序，结果保留在临时文件 ccc2.txt 里

 

 

参考推荐：

sed 命令的批量修改文件内容

sed 命令的详细用法

Ubuntu/CentOS 批量修改文件名

Linux rename命令批量重命名的方法

Linux 之 Shell 算术运算符

Linux 之 shell 比较运算符