Python3.x 通过字典有效地替换Pandas 系列中的值

一个简单的解决方案是根据字典键覆盖值的完整程度来 Select 方法.

General case

• 如果所有值都已映射，则使用df['A'].map(d)；或
• Use df['A'].map(d).fillna(df['A']).astype(int) if >5% values mapped.

Few, e.g. < 5%, values in d

• 使用df['A'].replace(d)

约5%的"交叉点"特定于下面的基准测试.

有趣的是，在这两种情况下，简单的列表理解通常都不如map.

Benchmarking

import pandas as pd, numpy as np

df = pd.DataFrame({'A': np.random.randint(0, 1000, 1000000)})
lst = df['A'].values.tolist()

##### TEST 1 - Full Map #####

d = {i: i+1 for i in range(1000)}

%timeit df['A'].replace(d)                          # 1.98s
%timeit df['A'].map(d)                              # 84.3ms
%timeit [d[i] for i in lst]                         # 134ms

##### TEST 2 - Partial Map #####

d = {i: i+1 for i in range(10)}

%timeit df['A'].replace(d)                          # 20.1ms
%timeit df['A'].map(d).fillna(df['A']).astype(int)  # 111ms
%timeit [d.get(i, i) for i in lst]                  # 243ms

Explanation

s.replace的速度如此之慢，原因在于它不仅仅是简单地映射一本字典.它处理一些边缘 case 和可以说是罕见的情况，在任何情况下都值得更多的关注.

这是pandas\generic.py分之replace()的节选.

items = list(compat.iteritems(to_replace))
keys, values = zip(*items)
are_mappings = [is_dict_like(v) for v in values]

if any(are_mappings):
    # handling of nested dictionaries
else:
    to_replace, value = keys, values

return self.replace(to_replace, value, inplace=inplace,
                    limit=limit, regex=regex)

似乎涉及到很多步骤:

• 将字典转换为列表.
• 遍历列表并判断嵌套字典.
• 将键和值的迭代器输入替换函数.

这可以与pandas\series.py分之map()的精简代码相比:

if isinstance(arg, (dict, Series)):
    if isinstance(arg, dict):
        arg = self._constructor(arg, index=arg.keys())

    indexer = arg.index.get_indexer(values)
    new_values = algos.take_1d(arg._values, indexer)