Python Pandas：填充行并删除重复项，但保留不同的值

发布于03月19日

我会尽量用我的例子说明清楚.

df_old

user, col1,col2,col3
a   ,  X  ,    ,
a   ,     ,  Y ,
a   ,     ,    , 6
b   ,  A  ,    ,
b   ,     ,  B , C
b   ,     ,  D ,

这是user人订购的.我想填补空白并删除重复项，所以对于用户a，我将在最后一个帧中只得到一行. 我在处理用户b这样的情况.由于用户b的col2中有两个不同的值，所以我希望最终的rabrame有两个不同的行:

df_new

user, col1,col2,col3
a   ,  X  ,  Y , 6
b   ,  A  ,  B , C
b   ,  A  ,  D , C

注意，我希望行是"一致的"，这样B和C就保持在同一个索引上.

谢谢你的帮助！

推荐答案

使用GroupBy.transform与集合NaNs重复Series.mask和Series.duplicated，按具有向前缺失值的非NaN值排序，最后删除每组重复users:

out = (df.set_index('user')
         .groupby('user')
         .transform(lambda x: x.mask(x.duplicated()).sort_values(key=pd.isna).ffill())
         .reset_index()
         .drop_duplicates(ignore_index=True)
         )
print (out)
  user col1 col2 col3
0    a    X    Y    6
1    b    A    B    C
2    b    A    D    C

编辑:如果每行需要缺失值(如果存在至少一个非缺失值)省略ffill并使用axis='all'参数添加DataFrame.dropna

out = (df.set_index('user')
         .groupby('user')
         .transform(lambda x: x.mask(x.duplicated()).sort_values(key=pd.isna))
         .dropna(how='all')
         .reset_index()
         )
print (out)
  user col1 col2 col3
0    a    X    Y    6
1    b    A    B    C
2    b  NaN    D  NaN