复制1TB稀疏文件

我得到了一个1TB的稀疏文件，其中实际存储了32MB的Linux数据。

是否有可能“有效地”制作一个包来存储稀疏文件？ 应该将该软件包解压缩为另一台计算机上的1TB稀疏文件。 理想情况下，“软件包”应该在32MB左右。

注意：可能的解决scheme是使用'tar'： https ： //wiki.archlinux.org/index.php/Sparse_file#Archiving_with_.60tar.27

但是，对于1TB的稀疏文件，尽pipe焦油球可能很小，但归档稀疏文件需要很长时间。

• 查找当前目录中的所有可写文件
• 在linux中基于内容拆分文件
• 如何使用C读取文件夹中的所有文件
• 我怎样才能在Linux上用C ++读取（）和O_DIRECT文件？
• 为什么在UNIX中删除后可以访问文件？

编辑1

我testing了tar和gzip，结果如下（注意，这个稀疏文件包含0字节的数据）。

$ du -hs sparse-1 0 sparse-1 $ ls -lha sparse-1 -rw-rw-r-- 1 user1 user1 1.0T 2012-11-03 11:17 sparse-1 $ time tar cSf sparse-1.tar sparse-1 real 96m19.847s user 22m3.314s sys 52m32.272s $ time gzip sparse-1 real 200m18.714s user 164m33.835s sys 10m39.971s $ ls -lha sparse-1* -rw-rw-r-- 1 user1 user1 1018M 2012-11-03 11:17 sparse-1.gz -rw-rw-r-- 1 user1 user1 10K 2012-11-06 23:13 sparse-1.tar 

包含0字节数据的1TB文件sparse-1可以通过“tar”存档到10KB焦油球，或者通过gzip压缩到1GB文件。 gzip大约需要tar的时间的2倍。

从比较来看，“tar”似乎比gzip好。

但是，对于包含0字节数据的稀疏文件，96分钟太长。

编辑2

rsync似乎完成复制文件在更多的时间比tar但不到gzip ：

 $ time rsync --sparse sparse-1 sparse-1-copy real 124m46.321s user 107m15.084s sys 83m8.323s $ du -hs sparse-1-copy 4.0K sparse-1-copy 

因此，对于这个非常稀疏的文件， tar + cp或scp应该比直接rsync更快。

编辑3

感谢@mvp指出新内核中的SEEK_HOLEfunction。 （我以前在2.6.32 Linux内核上工作）。

注意：bsdtar版本> = 3.0.4是必需的（请点击这里： http ://ask.fclose.com/4/how-to-efficiently-archive-a-very-large-sparse-file?show=299#c299 ）。

在较新的内核和Fedora版本（17）上， tar和cp 非常有效地处理稀疏文件。

 [zma@office tmp]$ ls -lh pmem-1 -rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1 [zma@office tmp]$ time tar cSf pmem-1.tar pmem-1 real 0m0.003s user 0m0.003s sys 0m0.000s [zma@office tmp]$ time cp pmem-1 pmem-1-copy real 0m0.020s user 0m0.000s sys 0m0.003s [zma@office tmp]$ ls -lh pmem* -rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1 -rw-rw-r-- 1 zma zma 1.0T Nov 7 20:15 pmem-1-copy -rw-rw-r-- 1 zma zma 10K Nov 7 20:15 pmem-1.tar [zma@office tmp]$ mkdir t [zma@office tmp]$ cd t [zma@office t]$ time tar xSf ../pmem-1.tar real 0m0.003s user 0m0.000s sys 0m0.002s [zma@office t]$ ls -lha total 8.0K drwxrwxr-x 2 zma zma 4.0K Nov 7 20:16 . drwxrwxrwt. 35 root root 4.0K Nov 7 20:16 .. -rw-rw-r-- 1 zma zma 1.0T Nov 7 20:14 pmem-1 

我正在使用3.6.5内核：

 [zma@office t]$ uname -a Linux office.zhiqiangma.com 3.6.5-1.fc17.x86_64 #1 SMP Wed Oct 31 19:37:18 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux 

 $ dd if=/dev/zero of=1tb seek=1T bs=1 count=1 1+0 records in 1+0 records out 1 byte (1 B) copied, 0.000143113 s, 7.0 kB/s $ time bsdtar cvfz sparse.tar.gz 1tb a 1tb real 0m0.362s user 0m0.336s sys 0m0.020s $ ls -l total 8 -rw-rw-r-- 1 autouser autouser 1099511627777 Nov 7 01:43 1tb -rw-rw-r-- 1 autouser autouser 257 Nov 7 01:43 sparse.tar.gz $ 

 $ rm 1tb $ time tar -xvSf sparse.tar.gz 1tb real 0m0.031s user 0m0.016s sys 0m0.016s $ ls -l total 8 -rw-rw-r-- 1 autouser autouser 1099511627777 Nov 7 01:43 1tb -rw-rw-r-- 1 autouser autouser 257 Nov 7 01:43 sparse.tar.gz 

 rsync --sparse sparse-1 sparse-1-copy