Python3.x 为什么异步库比这个 IO 绑定操作的线程慢

首先，我无法重现与您在我的Linux机器上看到的性能差异一样大的性能差异.我一直认为线程版本大约需要20-25秒，而asyncio版本则需要24-34秒.

现在，为什么asyncio变慢了？这其中有一些原因.首先，asyncio版本必须按顺序打印，但线程版本不能.打印是I/O，所以GIL可以在打印过程中释放.这意味着可能有两个或多个线程可以同时打印，尽管在实践中这种情况可能并不经常发生，而且可能不会对性能造成太大影响.

第二，更重要的是，the 101 version of 102 is actually 100:

def getaddrinfo(self, host, port, *,
                family=0, type=0, proto=0, flags=0):
    if self._debug:
        return self.run_in_executor(None, self._getaddrinfo_debug,
                                    host, port, family, type, proto, flags)
    else:
        return self.run_in_executor(None, socket.getaddrinfo,
                                    host, port, family, type, proto, flags)

它使用默认的ThreadPoolExecutor，which only has five threads:

# Argument for default thread pool executor creation.
_MAX_WORKERS = 5

对于这个用例来说，这远没有你想要的那么多并行性.要使其更像threading版本，您需要使用ThreadPoolExecutor和threading0个线程，通过loop.set_default_executor将其设置为默认执行器:

loop = asyncio.get_event_loop()
loop.set_default_executor(ThreadPoolExecutor(1000))
coroutines = asyncio.wait([getaddr(loop, i+site) for i in create_host(char)])
loop.run_until_complete(coroutines)

现在，这将使行为更等同于threading，但实际上是you're really not using asynchronous I/O - you're just using 100 with a different API.因此，在这里，您所能做的最好的事情就是与threading示例相同的性能.

最后，在每个示例中，您并没有真正运行相同的代码——threading版本使用的是一组工作人员，他们共享queue.Queue，而asyncio版本正在为url列表中的每个项目生成一个协同程序.如果我让asyncio版本使用asyncio.Queue和一组协同程序，除了删除print语句和生成一个更大的默认执行器之外，我还可以获得与这两个版本基本相同的性能.以下是新的asyncio代码:

import asyncio
import string
import time
from concurrent.futures import ThreadPoolExecutor

start = time.time()
def create_host(char):
    for i in char:
        yield i
    for i in create_host(char):
        if len(i)>1:
            return False
        for c in char:
            yield c + i


char = string.digits + string.ascii_lowercase
site = '.google.com'

@asyncio.coroutine
def getaddr(loop, q):
    while True:
        url = yield from q.get()
        if not url:
            break
        try:
            res = yield from loop.getaddrinfo(url,80)
        except:
            pass

@asyncio.coroutine
def load_q(loop, q):
    for host in create_host(char):
        yield from q.put(host+site)
    for _ in range(NUM):
        yield from q.put(None)

NUM = 1000
q = asyncio.Queue()

loop = asyncio.get_event_loop()
loop.set_default_executor(ThreadPoolExecutor(NUM))
coros = [asyncio.async(getaddr(loop, q)) for i in range(NUM)]
loop.run_until_complete(load_q(loop, q))
loop.run_until_complete(asyncio.wait(coros))

end = time.time()

print(end-start)

以及每种产品的yields :

dan@dandesk:~$ python3 threaded_example.py
20.409344911575317
dan@dandesk:~$ python3 asyncio_example.py
20.39924192428589

但请注意，由于网络的原因，存在一些变化.这两种情况有时都会比这慢几秒钟.