Python多处理：我怎样才能可靠地从一个subprocessredirect标准输出？

NB。 我已经看到多处理进程日志输出 – 不幸的是，它不回答这个问题。

我正在通过多处理创build一个subprocess（在Windows上）。 我希望所有的subprocess的stdout和stderr输出都被redirect到一个日志文件，而不是出现在控制台上。 我看到唯一的build议是为subprocess设置sys.stdout到一个文件。 但是，由于Windows上stdoutredirect的行为，这不会有效地redirect所有stdout输出。

为了说明问题，使用下面的代码构build一个Windows DLL

#include <iostream> extern "C" { __declspec(dllexport) void writeToStdOut() { std::cout << "Writing to STDOUT from test DLL" << std::endl; } } 

然后创build并运行如下所示的Python脚本，该脚本导入此DLL并调用该函数：

 from ctypes import * import sys print print "Writing to STDOUT from python, before redirect" print sys.stdout = open("stdout_redirect_log.txt", "w") print "Writing to STDOUT from python, after redirect" testdll = CDLL("Release/stdout_test.dll") testdll.writeToStdOut() 

为了看到和我一样的行为，可能需要针对不同于C ++运行时的C运行时构buildDLL。 就我而言，python是用Visual Studio 2010构build的，但是我的DLL是用VS 2005构build的。

我看到的行为是控制台显示：

 > stdout_test.py Writing to STDOUT from python, before redirect Writing to STDOUT from test DLL 

stdout_redirect_log.txt文件最终包含：

 Writing to STDOUT from python, after redirect 

换句话说，设置sys.stdout无法redirect由该DLL生成的stdout输出。 鉴于Windows中用于标准输出redirect的基础API的性质，这并不令人惊讶。 我之前在本机/ C ++级别遇到过这个问题，从来没有find一种方法可以在进程内可靠地redirectstdout。 它必须在外部完成。

这实际上是我启动一个subprocess的原因 – 这样我就可以在外部连接到它的pipe道，从而保证我拦截所有的输出。 我可以肯定地通过使用pywin32手动启动进程来做到这一点，但我非常希望能够使用多处理function，特别是通过多处理Pipe对象与subprocess通信的能力，以获得进展更新。 问题是，是否有任何方式为其IPC设施使用多处理， 并可靠地将所有孩子的stdout和stderr输出redirect到一个文件。

更新：查看multiprocessing.Processs的源代码，它有一个静态成员，_Popen，它看起来像它可以用来覆盖用于创build过程的类。 如果它被设置为None（默认），它使用一个multiprocessing.forking.Popen，但是它看起来像

 multiprocessing.Process._Popen = MyPopenClass 

我可以重写进程创build。 但是，虽然我可以从multiprocessing.forking.Popen中得到这个，但是看起来我不得不将一些内部的东西复制到我的实现中，这听起来很片面，而且不是很有前途。 如果这是唯一的select，我想我可能会用pywin32手动完成整个事情。

 import multiprocessing.connection import subprocess import socket import sys, os ## listn for connection from remote process (and find free port number) port = 10000 while True: try: l = multiprocessing.connection.listner(('localhost', int(port)), authkey="secret") break except socket.error as ex: if ex.errno != 98: raise port += 1 ## if errno==98, then port is not available. proc = subprocess.Popen((sys.executable, "subproc.py", str(port)), stdout=subprocess.PIPE, stderr=subprocess.PIPE) ## open connection for remote process conn = l.accept() conn.send([1, "asd", None]) print(proc.stdout.readline()) 

 import multiprocessing.connection import subprocess import sys, os, time port = int(sys.argv[1]) conn = multiprocessing.connection.Client(('localhost', port), authkey="secret") while True: try: obj = conn.recv() print("received: %s\n" % str(obj)) sys.stdout.flush() except EOFError: ## connection closed break