MongoDB 使用 pymongo 收集 500K 文档的写入速度很差

当涉及到写入时，有几件事需要考虑，我认为最有影响的一件事是这里的问题是索引大小/索引复杂性/唯一索引.

在没有更多信息的情况下，很难给出准确的建议，所以我将根据我的经验详细说明写作中最常见的瓶颈.

1. 如前所述，如果您有太多的索引.唯一索引.或者在非常大的数组上创建索引(并且您插入的文档具有大型数组)，这些都会严重影响插入性能.此行为还与您提供的图表相关，因为索引越大，插入就越糟糕.这个问题没有"真正"的解决方案，您应该重新考虑哪些索引和哪些索引会导致瓶颈(关注于唯一/数组索引).例如，如果您有一个强制唯一性的索引，则删除它并在应用程序级别强制唯一性.

2. 写入问题和复制延迟，如果您使用的是副本集，并且您需要大多数写入问题，这肯定会由于发生和增长的同步延迟而导致问题，通常这是不同问题的副作用，例如，由于#1(大索引)插入花费的时间太长，从而导致同步延迟，从而进一步延迟写入问题.

3. 未经优化的硬件(假设您托管在云上)，您会惊讶地发现，仅通过更改磁盘类型和增加IOPS就可以优化写入性能.这将带来立竿见影的效果.显然是以$为代价的.

4. 没有提供代码，所以我也会判断，如果它是for循环，那么显然您可以并行化逻辑.

我建议您在无索引集合上测试相同的插入逻辑以确定问题所在，一旦您能够提供更多信息，我很乐意帮助您思考其他问题/解决方案.

编辑:

下面是一个如何避免for循环问题的示例，方法是在使用pymongo的python中使用bulkWrite.

from pymongo import InsertOne, DeleteOne, ReplaceOne
from pymongo.errors import BulkWriteError

docs = [... input documents ]
requests = []
for doc in docs:
    requests.append({
       ReplaceOne({"docId": doc["docID"]}, doc, { upsert: True})
   })

try:
    db.docs.bulk_write(requests, ordered=False)
except BulkWriteError as bwe:
    pprint(bwe.details)