Python Pandas ，快速从词典栏中提取信息到新栏

最简单的 Select :使用zip的列表理解:

df['value'] = [d.get(w) for w,d in zip(df['words'], df['dict1'])]

或者，将json_normalize和indexing lookup合并:

idx, cols = pd.factorize(df['words'])

df['value'] = (pd.json_normalize(df['dict1'])
                 .reindex(cols, axis=1).to_numpy()
               [np.arange(len(df)), idx]
              )

或使用groupby.transform:

df['value'] = (df.groupby('words', as_index=False)['dict1']
                 .apply(lambda g: g.str[g.name]).droplevel(0)
              )

输出:

       ID    ID2   words                       dict1  value
0  x12_12  12984   apple    {'apple': 5, 'pear': 10}    5.0
1  x12_12  12984    pear    {'apple': 5, 'pear': 10}   10.0
2  x12_12  20934  orange  {'orange': 5, 'pear': nan}    5.0
3  x12_12  20934    pear  {'orange': 5, 'pear': nan}    NaN

Timings

在400k行.最后，列表理解是最快的，这是有意义的，因为限制步骤无论如何都是基于循环的.apply是一个循环，但由于为每行创建一个Series，因此开销很大.如果可以的话，一定要用列表理解来代替axis=1中的apply.

# apply
2.58 s ± 33.8 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# list comprehension
127 ms ± 7.65 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)

# json_normalize + indexing lookup
811 ms ± 46 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

# groupby.transform
237 ms ± 3.22 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)