Python 多处理池映射增加了额外的吞吐时间，如何减少它

一般来说，多处理更适合于CPU密集型工作，而多线程更适合于I/O受限的工作.

这是一个巨大的概括.您实际需要的内容将取决于代码的各种复杂性.

future 模块有两个非常有用的类，即:ThreadPoolExecutor和ProcessPoolExecutor.它们的属性是相同的，这意味着您可以在开发过程中轻松地从一个切换到另一个，只需更改类名，而不需要更改任何其他代码.

下面是一些代码，它们为您提供了一个框架，用于确定哪些代码最适合您的需求.只需适当地实现do_work()函数.

代码将执行process()函数NVALS次，并为您提供多线程和多处理的平均持续时间.

from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor
from time import perf_counter
from collections.abc import Callable, Iterator
import os

NVALS = 10

if (CPU_COUNT := os.cpu_count()) is None or CPU_COUNT < 2:
    CPU_COUNT = 2

POOLSIZE = min((CPU_COUNT//2, NVALS))
DP = 8

def do_work(i: int, s:str) -> tuple[int, str]:
    print(i, s)
    return i, s

def process(t: tuple[int, str]) -> float:
    _start = perf_counter()
    do_work(*t)
    return perf_counter() - _start

def values(nvals: int) -> Iterator[tuple[int, str]]:
    for i in range(nvals):
        yield i, 'a'
    
def main(executor: Callable):
    with executor(POOLSIZE) as _executor:
        print(executor.__name__)
        # create a list of tuples
        _sum = sum(_executor.map(process, values(NVALS)))
        print(f'Average={_sum/NVALS:.{DP}f}\n')



if __name__ == '__main__':
    for executor in ProcessPoolExecutor, ThreadPoolExecutor:
        main(executor)