uWSGI python高负载configuration

我们有一个32核的EC2实例，目前运行Nginx，Tornado和Redis，平均每秒处理5K个请求。 似乎一切正常，但CPU负载已经达到70％，我们不得不支持更多的请求。 其中一个想法是用uWSGI取代Tornado，因为我们并没有真正使用Tornado的asynchronousfunction。

我们的应用程序由一个函数组成，它接收一个JSON（〜= 4KB），做一些阻塞但非常快的东西（Redis）并返回JSON。

• 代理HTTP请求到一个Tornado实例（Nginx）
• parsingHTTP请求（Tornado）
• 阅读POST正文string（stringified JSON）并将其转换为Python字典（Tornado）
• 从位于同一台计算机上的Redis（阻塞）中取出数据（使用hiredis的py-redis）
• 处理数据（python3.4）
• 在同一台机器上更新Redis（py-redis with hiredis）
• 为响应准备string化的JSON（python3.4）
• 发送回应代理（龙卷风）
• 发送回应给客户端（Nginx）

我们认为速度改进将来自uwsgi协议，我们可以在单独的服务器上安装Nginx，并使用uwsgi协议代理所有对uWSGI的请求。 但是在尝试所有可能的configuration和更改操作系统参数之后，即使在当前的负载下，我们仍然无法正常工作 大多数情况下，nginx日志包含499和502错误。 在某些configuration中，它只是停止接收新的请求，如它碰到一些操作系统限制。

正如我所说，我们有32核心，60GB的可用内存和非常快的networking。 我们不做重的东西，只有非常快的阻止操作。 这种情况下最好的策略是什么？ 进程，线程，asynchronous？ 什么OS参数应该设置？

• 在读取来自上游的响应报头时debugging着名的 – 在stderr中发送的FastCGI：“主脚本未知”
• PingFederate和NGinx集成和部署选项
• 我应该使用清漆而不是nginx吗？
• 在Nginx上过期
• nginx代理和404redirect

当前的configuration是：

[uwsgi] master = 2 processes = 100 socket = /tmp/uwsgi.sock wsgi-file = app.py daemonize = /dev/null pidfile = /tmp/uwsgi.pid listen = 64000 stats = /tmp/stats.socket cpu-affinity = 1 max-fd = 20000 memory-report = 1 gevent = 1000 thunder-lock = 1 threads = 100 post-buffering = 1 

Nginxconfiguration：

 user www-data; worker_processes 10; pid /run/nginx.pid; events { worker_connections 1024; multi_accept on; use epoll; } 

OSconfiguration：

 sysctl net.core.somaxconn net.core.somaxconn = 64000 

我知道这个限制太高了，开始尝试每一个可能的价值。

更新 ：

我结束了以下configuration：

 [uwsgi] chdir = %d master = 1 processes = %k socket = /tmp/%c.sock wsgi-file = app.py lazy-apps = 1 touch-chain-reload = %dreload virtualenv = %d.env daemonize = /dev/null pidfile = /tmp/%c.pid listen = 40000 stats = /tmp/stats-%c.socket cpu-affinity = 1 max-fd = 200000 memory-report = 1 post-buffering = 1 threads = 2