为什么我的Perl程序不能在Windows上创build超过4 GB的文件?

为什么使用打印输出到文件时,文件大小限制在4 GB? 我期望与stream输出应该可以生成任意大小的文件。

更新 : ijw和查斯。 欧文斯是正确的。 我以为F:驱动器是NTFS格式化的,但实际上它使用了FAT32文件系统。 我尝试了另一个驱动器,我可以生成一个20 GB的文本文件。 在这种情况下没有限制。 向所有人道歉。


详细信息:在研究堆栈溢出问题时,我需要测量使用Perl读取非常大的文本文件的性能。 为了testing阅读我需要一个大的文本文件,我写了一个小的Perl脚本来生成文本文件,并遇到了意想不到的问题。 输出文件增长到4 GB。 根据Windows资源pipe理器,一次运行该脚本的大小为4294967269个字节(磁盘上为4294967296个字节)。 脚本继续,但文件不再增长。

基本它只是一些:

print NUMBERS_OUTFILE $line; 

$ line是最后一个带有“\ n”的长string。 线的长度可以configuration,对于这个问题并不重要。 例如250个字符或34000个字符。 NUMBERS_OUTFILE是一个文件句柄,创build时使用:

 open ( NUMBERS_OUTFILE,">F:\temp2\out1.txt") 

驱动器F:是NTFS格式化的,与具有操作系统的磁盘位于单独的物理硬盘上。

这是什么原因,有没有解决办法?


完整的Perl脚本和BAT驱动程序脚本 (用pre标签格式化的HTML)。 如果设置了两个环境variablesMBSIZE和OUTFILE,那么Perl脚本应该能够在Windows之外的其他平台上运行。

平台:来自ActiveState的Perl 5.10.0; 32位; build立1004. Windows XP x64 SP2,8 GB RAM,500 GB绿色鱼子酱硬盘。

perl -V说:

 Summary of my perl5 (revision 5 version 10 subversion 0) configuration: Platform: osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread uname='' config_args='undef' hint=recommended, useposix=true, d_sigaction=undef useithreads=define, usemultiplicity=define useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef use64bitint=undef, use64bitall=undef, uselongdouble=undef usemymalloc=n, bincompat5005=undef Compiler: cc='cl', ccflags ='-nologo -GF -W3 -MD -Zi -DNDEBUG -O1 -DWIN32 -D_CONSOLE -DNO_ST RICT -DHAVE_DES_FCRYPT -DUSE_SITECUSTOMIZE -DPRIVLIB_LAST_IN_INC -DPERL_IMPLICIT_CONTE XT -DPERL_IMPLICIT_SYS -DUSE_PERLIO -DPERL_MSVCRT_READFIX', optimize='-MD -Zi -DNDEBUG -O1', cppflags='-DWIN32' ccversion='12.00.8804', gccversion='', gccosandvers='' intsize=4, longsize=4, ptrsize=4, doublesize=8, byteorder=1234 d_longlong=undef, longlongsize=8, d_longdbl=define, longdblsize=10 ivtype='long', ivsize=4, nvtype='double', nvsize=8, Off_t='__int64', lseeksize=8 alignbytes=8, prototype=define Linker and Libraries: ld='link', ldflags ='-nologo -nodefaultlib -debug -opt:ref,icf -libpath:"D:\Perl\ lib\CORE" -machine:x86' libpth=\lib libs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.lib a dvapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib mpr.l ib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib perllibs= oldnames.lib kernel32.lib user32.lib gdi32.lib winspool.lib comdlg32.l ib advapi32.lib shell32.lib ole32.lib oleaut32.lib netapi32.lib uuid.lib ws2_32.lib m pr.lib winmm.lib version.lib odbc32.lib odbccp32.lib msvcrt.lib libc=msvcrt.lib, so=dll, useshrplib=true, libperl=perl510.lib gnulibc_version='' Dynamic Linking: dlsrc=dl_win32.xs, dlext=dll, d_dlsymun=undef, ccdlflags=' ' cccdlflags=' ', lddlflags='-dll -nologo -nodefaultlib -debug -opt:ref,icf -libpat h:"D:\Perl\lib\CORE" -machine:x86' Characteristics of this binary (from libperl): Compile-time options: MULTIPLICITY PERL_DONT_CREATE_GVSV PERL_IMPLICIT_CONTEXT PERL_IMPLICIT_SYS PERL_MALLOC_WRAP PL_OP_SLAB_ALLOC USE_ITHREADS USE_LARGE_FILES USE_PERLIO USE_SITECUSTOMIZE Locally applied patches: ActivePerl Build 1004 [287188] 33741 avoids segfaults invoking S_raise_signal() (on Linux) 33763 Win32 process ids can have more than 16 bits 32809 Load 'loadable object' with non-default file extension 32728 64-bit fix for Time::Local Built under MSWin32 Compiled at Sep 3 2008 13:16:37 @INC: D:/Perl/site/lib D:/Perl/lib . 

嗯,这很奇怪。 至少在OS X和Linux上,限制是由文件系统强加的。 也许在Win32上的ActiveState Perl没有编译支持大文件? 你可以发布运行perl -V的结果吗?

我们关心的部分输出是

 Platform: osname=MSWin32, osvers=5.00, archname=MSWin32-x86-multi-thread uname='' config_args='undef' hint=recommended, useposix=true, d_sigaction=undef useithreads=define, usemultiplicity=define useperlio=define, d_sfio=undef, uselargefiles=define, usesocks=undef use64bitint=undef, use64bitall=undef, uselongdouble=undef usemymalloc=n, bincompat5005=undef 

具体来说, uselargefiles=define 。 这个特性被定义(即打开)的事实意味着Perl将使用一个无符号的64位整数作为文件偏移量。 理论上,这可以使文件高达16艾字节(17,179,869,184千兆字节); 但是,文件系统限制通常会在达到此限制之前发挥作用。

这是我发现的一件事( 链接 ):

配置时间选项

INSTALL文档描述了几个配置时间选项。 其中一些将与Cygwin一起工作,而另一些则不可能。 另外,其中一些是实验性的。 您可以在配置提示时选择一个选项,也可以在命令行上定义(定义)符号。

  • -Duselargefiles

    尽管Win32支持大文件,但Cygwin目前使用32位整数进行内部大小和位置计算。

我认为问题在于,由于文件位置指针的限制为4个字节,所以无法写入到4 GB以后的文件位置。 这是即使你使用流输出,因为Perl仍然需要跟踪文件的位置。

我会尝试使用Win32API :: File – 它允许通过在不同的字段中发送文件位置指针的高位4字节来寻找大于4 GB的位置,并且应该使用writeFile()写入输出文件。

我猜“32位”的部分是问题…你可以代表一个32位数字最大的数字是4 GB左右( http://en.wikipedia.org/wiki/Integer_%28computer_science%29

– 编辑 –

我实际上并不是指文件系统限制,而是指Perl的限制。 由于它是在32位编译的,只能访问4 GB的raRAM。 据我所知,NTFS有8 GB的限制,并使用某种窗口方法来读取这些文件。 但这是另一回事。