如何过滤掉文件中的所有唯一行?

有没有办法通过命令行工具过滤出文件中的所有独特的行而不sorting行? 我想实质上做到这一点:

sort -u myFile 

没有sorting的性能打击。

Solutions Collecting From Web of "如何过滤掉文件中的所有唯一行?"

删除重复的行:

 awk '!a[$0]++' file 

这是着名的awk单线程。 关于inet有很多解释。 这里是一个解释:

这一行是非常地道的。 它记录在关联数组“a”中看到的行(数组总是在Awk中关联),同时测试它是否曾经看到过该行。 如果它已经看到过这一行,那么[行]> 0和!a [行] == 0.任何计算结果为false的表达式都是no-op,并且任何表达式都等于“{print }”。