为什么subprocess.Popen参数长度限制小于操作系统报告的限制?

我在Linux 3.16.0上运行Python 3.4.3。 我想使用subprocess.Popen来运行一个长单参数(一个复杂的Bash调用),大约200KiB的命令。

根据getconfxargs ,这应该是在我的范围内:

 $ getconf ARG_MAX 2097152 $ xargs --show-limits < /dev/null Your environment variables take up 3364 bytes POSIX upper limit on argument length (this system): 2091740 POSIX smallest allowable upper limit on argument length (all systems): 4096 Maximum length of command we could actually use: 2088376 Size of command buffer we are actually using: 131072 

但是,Python失败的时候会有相当小的限制:

 >>> subprocess.Popen('echo %s > /dev/null' % ('a' * (131072-4096)), shell=True, executable='/bin/bash') <subprocess.Popen object at 0x7f4613b58410> >>> subprocess.Popen('echo %s > /dev/null' % ('a' * (262144-4096)), shell=True, executable='/bin/bash') Traceback (most recent call last): [...] OSError: [Errno 7] Argument list too long 

请注意,Python限制与“实际使用”命令缓冲区xargs报告大致相同。 这表明xargs在某种程度上足够聪明,可以从更小的限制开始,根据需要增加它,但是Python不是。

问题:

  1. 为什么Python限制小于2MiB的操作系统限制?
  2. 我可以增加Python限制吗?
  3. 如果是这样,怎么样?

Solutions Collecting From Web of "为什么subprocess.Popen参数长度限制小于操作系统报告的限制?"

单个字符串参数的最大大小限制为131072.它与python无关:

 ~$ /bin/echo "$(printf "%*s" 131071 "a")">/dev/null ~$ /bin/echo "$(printf "%*s" 131072 "a")">/dev/null bash: /bin/echo: Argument list too long 

实际上是MAX_ARG_STRLEN决定单个字符串的最大大小:

作为2.6.23以后的附加限制,一个参数不能超过MAX_ARG_STRLEN(131072)。 这可能会变得相关,如果你产生一个长的调用像“sh -c”用长参数生成“”。 (由Xan Lopez和Ralf Wildenhues指出)

请参阅关于ARG_MAX讨论 ,在“参数个数和一个参数的最大长度”下,以及关于unix.stackexchange 这个问题 。

你可以在binfmts.h看到它:

 /* * These are the maximum length and maximum number of strings passed to the * execve() system call. MAX_ARG_STRLEN is essentially random but serves to * prevent the kernel from being unduly impacted by misaddressed pointers. * MAX_ARG_STRINGS is chosen to fit in a signed 32-bit integer. */ #define MAX_ARG_STRLEN (PAGE_SIZE * 32) #define MAX_ARG_STRINGS 0x7FFFFFFF ~$ echo $(( $(getconf PAGE_SIZE)*32 )) 131072 

您可以传递多个长度为131071字符串:

 subprocess.check_call(['echo', "a"*131071,"b"*131071], executable='/bin/bash',stdout=open("/dev/null","w")) 

但是一个字符串arg不能超过131071字节。

这个问题与你的类似,但对于Windows。 正如在这种情况下,您可以通过避免shell=True选项来绕过任何shell限制。

否则,您可以像在该场景中那样提供一个到subprocess.Popen()的文件列表,并按照@Aaron Digulla的建议。