Linux删除重复行的代码

  Linux删除重复行的代码

文本处理时,经常要删除重复行,下面是三种方法

  第一,用sort+uniq,注意,单纯uniq是不行的。

  ?


1

sort -n test.txt | uniq

  第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。

  sort -n $file | awk '{if($0!=line)print; line=$0}'

  第三,用sort+sed命令,同样需要sort命令先排序。

  sort -n $file | sed '$!N; /^.∗ \1$/!P; D'

  Shell脚本

  ?


1

2

3

4

5

6

# !/bin/sh

file='test.txt'

sort -n $file | uniq

sort -n $file | awk '{if($0!=line)print; line=$0}'

sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

  测试文件:

  yanggang@barry$ cat test.txt

  aaa

  bbbbb

  ccccc

  123

  aaaaa

  123

  bbb

  aaa

  执行结果:

  yanggang@barry$ ./diffRow.sh

  aaa

  aaaaa

  bbb

  bbbbb

  ccccc

  123

服务器教程

平板电脑教程

视频播放教程

(0)

相关推荐

  • Linux如何删除重复行的代码?

    文本处理时,经常要删除重复行,方法如下: 方法一: 用sort+uniq,注意,单纯uniq是不行的. 1 sort -n test.txt | uniq 方法二: 用sort+awk命令,注意,单纯 ...

  • 如何在Linux下合并多个文件并删除重复行

    在Linux合并文件可使用cat或者paste命令,本例中以合并a.txt和b.txt为例. 源文件 01 首先输入"cd tmp"到文件目录(本例中为tmp). 02 输入&qu ...

  • excel按一列删除重复行,并按另一列时间保留最近的一条记录

    A列公司名称,B列公司地址,C列时间.我想根据A列找出重复的,然后删除那一整行,只留下最近一个记录. 例:  A列         B列            C列   北京1公司   北京市西城区  ...

  • Excel表格中删除重复行的方法

    Excel表格中删除重复行的方法 下图中的表格就是今天的示例,因为比较短,所以肉眼就可以看出来,后面三行都是重复的.下面在本文中,Office办公助手的小编就图文详解一次性将最后三行重复行都删除掉的方 ...

  • Excel2003怎么删除重复行与重复数据

    在处理大量数据时候,我们常常会看到一些重复行,或者某些数据前几项一样但最后几项数据不一样.这时候该怎么办呢?本就来介绍怎么删除重复行与重复数据. 操作方法 01 打开Excel2003,为了便于说明, ...

  • Excel 如何删除重复行

    Excel中如何删除重复行呢?下面小编来教大家. 操作方法 01 首先,我们打开我们的电脑,然后我们打开一个excel文档,此时我们可以看到文档中有重复的行,里面都是4,我们选中图示中的区域: 02 ...

  • linux下的删除重复行命令uniq详细介绍和实例

    一,uniq干什么用的 文本中的重复行,基本上不是我们所要的,所以就要去除掉。linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个。使用uniq的时候要注意以下二点 1,对文本操 ...

  • excel删除重复行

    首先要看我们用的是excel那款软件,是excel2003还是2007还2010。通常2007和2010都是类似的,所有我们只需要了解excel2003和2007的操作方法即可, excel2003的 ...

  • excel中如何删除重复的行 excel删除重复行数据

    我们在编辑excel的内容的时候,往往会出现一些重复的数据行,这会影响我们的数据分析,下面介绍下如何删除这些重复的数据行 操作方法 01 首先打开excel编辑文档界面,输入数据完毕 02 选中要进行 ...