我有一个运行长时间运行的networking服务(大约几个小时)。 我正在开发这个使用Flask,Gunicorn,和Nginx。
我所想做的就是要花费很长时间才能完成的路线,调用一个创build线程的函数。 该函数然后将返回一个GUID回到路由,路由将返回一个URL(使用GUID),用户可以使用它来检查进度。 我使线程守护进程(thread.daemon = True),以便线程退出,如果我的调用代码退出(意外)。
这是正确的使用方法吗? 它有效,但这并不意味着它是正确的。
my_thread = threading.Thread(target=self._run_audit, args=()) my_thread.daemon = True my_thread.start()
处理这个问题的更经常的处理是从基本应用程序中提取动作,并使用像Celery这样的任务管理器系统在外部调用它。
使用本教程,您可以创建您的任务,并从您的Web应用程序触发它。
from flask import Flask app = Flask(__name__) app.config.update( CELERY_BROKER_URL='redis://localhost:6379', CELERY_RESULT_BACKEND='redis://localhost:6379' ) celery = make_celery(app) @celery.task() def add_together(a, b): return a + b
然后你可以运行:
>>> result = add_together.delay(23, 42) >>> result.wait() 65
只要记住你需要分别运行工人:
celery -A your_application worker
那么,虽然你的方法是不正确的,但基本上它可能会导致你的程序用完可用的线程。 正如阿里所说,一般的做法是使用RQ
或Celery
等工作队列。 但是,您不需要提取函数来使用这些库。 对于Flask,我建议你使用Flask-RQ 。 开始很简单:
pip install flask-rq
请记住,在使用Flask应用程序之前先安装Redis。
在Flask函数中使用@Job装饰器:
from flask.ext.rq import job @job def process(i): # Long stuff to process process.delay(3)
最后你需要rqworker
来启动worker:
rqworker
你可以看到更多的信息RQ文档 。 RQ设计用于简单的长时间运行的过程。
芹菜比较复杂,功能也很丰富,如果你不熟悉工作队列和分布式处理方法,不推荐使用。
Greenlet有开关。 让您在长时间运行的进程之间切换。 您可以使用greenlet来运行进程。 好处是你不需要Redis和其他工作者,而是你必须重新设计你的功能是兼容的:
from greenlet import greenlet def test1(): print 12 gr2.switch() print 34 def test2(): print 56 gr1.switch() print 78 gr1 = greenlet(test1) gr2 = greenlet(test2) gr1.switch()
芹菜和RQ是过于简单的任务。 看看这个文档 – https://docs.python.org/3/library/concurrent.futures.html
另请检查示例,如何在Flask应用程序的后台运行长时间运行的作业 – https://stackoverflow.com/a/39008301/5569578
你的方法是好的,完全可以工作,但是为什么当一个被广泛接受的解决方案,即芹菜,重新发明python web应用程序的后台工作。
我需要看到很多测试之前,我相信任何家庭滚动代码这样一个重要的任务。
加上芹菜给你的功能,如任务持久性和分布在多台机器的工人的能力。