大橙子网站建设,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章将为大家详细讲解有关linux中如何使用awk删掉文件中重复的行,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
成都创新互联是一家专业提供淮安企业网站建设,专注与网站设计、网站建设、HTML5、小程序制作等业务。10年已为淮安众多企业、政府机构等服务。创新互联专业网站建设公司优惠进行中。
要保持原来的排列顺序删掉重复行,使用:
awk '!visited[$0]++' your_file > deduplicated_file
这个脚本维护一个关联数组,索引(键)为文件中去重后的行,每个索引对应的值为该行出现的次数。对于文件的每一行,如果这行(之前)出现的次数为 0,则值加 1,并打印这行,否则值加 1,不打印这行。
我之前不熟悉 awk
,我想弄清楚这么短小的一个脚本是怎么实现的。我调研了下,下面是调研心得:
这个 awk “脚本” !visited[$0]++
对输入文件的每一行都执行。
visited[]
是一个关联数组(又名映射)类型的变量。awk
会在第一次执行时初始化它,因此我们不需要初始化。
$0
变量的值是当前正在被处理的行的内容。
visited[$0]
通过与 $0
(正在被处理的行)相等的键来访问该映射中的值,即出现次数(我们在下面设置的)。
!
对表示出现次数的值取反:
如果该值为空,awk
自动把它转换为 0
(数字) 后加 1。
注意:加 1 操作是在我们取到了变量的值之后执行的。
如果 visited[$0]
的值是一个比 0 大的数,取反后被解析成 false
。
如果 visited[$0]
的值为等于 0 的数字或空字符串,取反后被解析成 true
。
在 awk
中,任意非零的数或任意非空的字符串的值是 true
。
变量默认的初始值为空字符串,如果被转换为数字,则为 0。
也就是说:
++
表示变量 visited[$0]
的值加 1。
总的来说,整个表达式的意思是:
true
:如果表示出现次数为 0 或空字符串
false
:如果出现的次数大于 0
awk
由 模式或表达式和一个与之关联的动作 组成:
<模式/表达式> { <动作> }
如果匹配到了模式,就会执行后面的动作。如果省略动作,awk
默认会打印(print
)输入。
省略动作等价于
{print $0}
。
我们的脚本由一个 awk
表达式语句组成,省略了动作。因此这样写:
awk '!visited[$0]++' your_file > deduplicated_file
等于这样写:
awk '!visited[$0]++ { print $0 }' your_file > deduplicated_file
对于文件的每一行,如果表达式匹配到了,这行内容被打印到输出。否则,不执行动作,不打印任何东西。
uniq
命令仅能对相邻的行去重。这是一个示例:
$ cat test.txtAAABBBAACCCBBA$ uniq < test.txtABACBA
我们也可以用下面的 sort 命令来去除重复的行,但是原来的行顺序没有被保留。
sort -u your_file > sorted_deduplicated_file
上面的方法会产出一个去重的文件,各行是基于内容进行排序的。通过管道连接命令可以解决这个问题。
cat -n your_file | sort -uk2 | sort -nk1 | cut -f2-
工作原理
假设我们有下面一个文件:
abcghiabcdefxyzdefghiklm
cat -n test.txt
在每行前面显示序号:
1 abc2 ghi3 abc4 def5 xyz6 def7 ghi8 klm
sort -uk2
基于第二列(k2
选项)进行排序,对于第二列相同的值只保留一次(u
选项):
1 abc4 def2 ghi8 klm5 xyz
sort -nk1
基于第一列排序(k1
选项),把列的值作为数字来处理(-n
选项):
1 abc2 ghi4 def5 xyz8 klm
最后,cut -f2-
从第二列开始打印每一行,直到最后的内容(-f2-
选项:留意 -
后缀,它表示这行后面的内容都包含在内)。
abcghidefxyzklm
关于“linux中如何使用awk删掉文件中重复的行”这篇文章就分享到这里了,希望以上内容可以对大家有一定的帮助,使各位可以学到更多知识,如果觉得文章不错,请把它分享出去让更多的人看到。