我可以从小文本文件中删除重复的条目，但不能删除大文本文件。
我有一个4MB的文件。
该文件的开头看起来像这样：
aa aah aahed aahed aahing aahing aahs aahs aal aalii aalii aaliis aaliis ... 我想删除重复。
例如，“哎呀”出现了两次，我只喜欢它出现一次。
无论我尝试过多less次，大名单都不会改变。
如果input： sort big_list.txt | uniq | 减
我懂了：
aa aah aahed aahed <-- didn't get rid of it aahing aahing <-- didn't get rid of it aahs aahs <-- didn't get rid of it aal ...
但是，如果我从这个文本文件的顶部复制一小段文字，然后在小块数据上重新运行这个命令，那么它就会发生什么。
这些程序是否因为文件太大而拒绝sorting？ 我不认为4MB是非常大的。 它不输出警告或任何东西。
我很快写了我自己的“uniq”程序，它有相同的行为。 它适用于列表的一小部分，但对4MB文本文件没有任何作用。 我的问题是什么？
编辑：这是一个hex转储：
00000000 61 61 0a 61 61 68 0a 61 61 68 65 64 0a 61 61 68 |aa.aah.aahed.aah| 00000010 65 64 0d 0a 61 61 68 69 6e 67 0a 61 61 68 69 6e |ed..aahing.aahin| 00000020 67 0d 0a 61 61 68 73 0a 61 61 68 73 0d 0a 61 61 |g..aahs.aahs..aa| 00000030 6c 0a 61 61 6c 69 69 0a 61 61 6c 69 69 0d 0a 61 |l.aalii.aalii..a| 00000040 61 6c 69 69 73 0a 61 61 6c 69 69 73 0d 0a 61 61 |aliis.aaliis..aa|
61 61 68 65 64 0a aahed \r 61 61 68 65 64 0d aahed \n
解决：不同的行分隔符
你可以规范化行列表（将CR + LF转换为LF）：
sed 's/\r//' big_list.txt | sort -u
sort（1）命令接受密钥唯一性的-u选项。
只是使用
sort -u big_list.txt
回答max taldykin有关awk '!_[$0]++' file ：
awk '!_[$0]++' file是一样的
awk '!seen[$0]++' file
，这是一样的
awk '!seen[$0]++ { print; }' file
， 意思是
awk ' { if (!seen[$0]) { print; } seen[$0]++; }' file
重要的一点是：
$0表示通常是当前行的当前记录 awk ， ACTION部分是可选的，默认的操作是{ print; } { print; } 0 除了sort -u你也可以使用awk '!_[$0]++' yourfile