提取2组/文件之间的唯一值

 $ awk 'FNR==NR {a[$0]++; next} !a[$0]' file1 file2 6 7 

代码如何工作的说明：

• 如果我们正在处理file1，请跟踪我们看到的每一行文字。
• 如果我们正在处理file2，并没有看到行文本，然后打印它。

详细说明：

• FNR是当前文件的记录号码
• NR是来自所有输入文件的当前整体记录编号
• FNR==NR只有当我们正在读取file1时才是真的
• $0是文本的当前行
• a[$0]是一个散列，其中的键设置为当前文本行
• a[$0]++跟踪我们已经看到的当前文本行
• !a[$0]只有当我们没有看到行文字时， !a[$0]才是真的
• 如果上述模式返回true，则打印文本行，这是未给出明确操作时的默认awk行为

使用一些鲜为人知的实用工具：

 sort file1 > file1.sorted sort file2 > file2.sorted comm -1 -3 file1.sorted file2.sorted 

这将输出重复的内容，所以如果file1有1 3 ，但是file2 2个，这仍然会输出1 3 。 如果这不是你想要的，那么在将它写入文件之前，通过uniq管道输出sort ：

 sort file1 | uniq > file1.sorted sort file2 | uniq > file2.sorted comm -1 -3 file1.sorted file2.sorted 

GNU coreutils软件包中有很多实用程序，允许进行各种文本操作。

我想知道以下哪个解决方案对于“更大”的文件是“最快”的：

 awk 'FNR==NR{a[$0]++}FNR!=NR && !a[$0]{print}' file1 file2 # awk1 by SiegeX awk 'FNR==NR{a[$0]++;next}!($0 in a)' file1 file2 # awk2 by ghostdog74 comm -13 <(sort file1) <(sort file2) join -v 2 <(sort file1) <(sort file2) grep -v -F -x -f file1 file2 

我的基准测试结果总之：

• 不要使用grep -Fxf ，它会慢很多（在我的测试中是2-4次）。
• comm比comm稍快。
• 如果file1和file2已经排序， comm和join比awk1 + awk2快得多。 （当然，他们不承担排序的文件。）
• awk1 + awk2，据说，使用更多的RAM和更少的CPU。 通信的实际运行时间可能较低，原因是它使用更多的线程。 awk1 + awk2的CPU时间较短。

为了简洁起见，我省略了全部细节。 不过，我想任何有兴趣的人都可以联系我或者重复测试。 粗略地说，设置是

 # Debian Squeeze, Bash 4.1.5, LC_ALL=C, slow 4 core CPU $ wc file1 file2 321599 321599 8098710 file1 321603 321603 8098794 file2 

最快运行的典型结果

 awk2: real 0m1.145s user 0m1.088s sys 0m0.056s user+sys 1.144 awk1: real 0m1.369s user 0m1.324s sys 0m0.044s user+sys 1.368 comm: real 0m0.980s user 0m1.608s sys 0m0.184s user+sys 1.792 join: real 0m1.080s user 0m1.756s sys 0m0.140s user+sys 1.896 grep: real 0m4.005s user 0m3.844s sys 0m0.160s user+sys 4.004 

顺便说一句，对于awkies：似乎a[$0]=1比a[$0]++快，并且(!($0 in a))比(!a[$0])更快。 所以，对于awk解决方案，我建议：

 awk 'FNR==NR{a[$0]=1;next}!($0 in a)' file1 file2 

用grep：

 grep -F -x -v -f file_1 file_2 

怎么样：

 diff file_1 file_2 | grep '^>' | cut -c 3- 

这将打印file_2中不在file_1中的条目。 对于相反的结果，只需用'<'替换'>'即可。 'cut'删除由'diff'添加的前两个字符，这些字符不是原始内容的一部分。

这些文件甚至不需要排序。

这里是另一个awk解决方案

 $ awk 'FNR==NR{a[$0]++;next}(!($0 in a))' file1 file2 6 7 

如果你真的从命令行设置这个， 这个网站 （搜索“找不到重复”）有一个awk例子，搜索重复。 这可能是一个很好的起点。

不过，我鼓励你使用Perl或Python。 基本上，该计划的流程将是：

 findUniqueValues(file1, file2){ contents1 = array of values from file1 contents2 = array of values from file2 foreach(value2 in contents2){ found=false foreach(value1 in contents1){ if (value2 == value1) found=true } if(!found) print value2 } } 

这并不是最优雅的方式，因为它具有O（n ^ 2）的时间复杂度，但它可以完成这项工作。