Python Drop_duplicates 在数据框中并保留具有特定列值的数据框

发布于08月11日

我正在进行数据帧DF:

columnA columnB columnC columnD columnE
A        B         10      C       C
A        B         10      D       A
B        C         20      A       A
B        A         20      D       A
B        A         20      D       C

如果存在columnA, columnB, columnC的重复项，我想删除重复项.在我的例子中，重复项是:

columnA columnB columnC columnD columnE
A        B         10      C       C
A        B         10      D       A
B        A         20      D       A
B        A         20      D       C

如何保留重复行中的一行，其中columnE等于C？因此，完整数据帧的输出为:

columnA columnB columnC columnD columnE
A        B         10      C       C
B        C         20      A       A
B        A         20      D       C

推荐答案

您可以先使用DataFrame.sort_values表示首选C值，然后使用DataFrame.drop_duplicates和/或原始订单添加DataFrame.sort_index:

out = (df.sort_values('columnE', key=lambda x: x.ne('C'))
         .drop_duplicates(['columnA','columnB','columnC'])
         .sort_index())
print (out)
  columnA columnB  columnC columnD columnE
0       A       B       10       C       C
2       B       C       20       A       A
4       B       A       20       D       C

或者使用DataFrameGroupBy.idxmax表示索引，首选C表示 Select 行，使用DataFrame.loc表示原始排序:

idx = df['columnE'].eq('C').groupby([df['columnA'],df['columnB'],df['columnC']]).idxmax()
out = df.loc[idx.sort_values()]
print (out)
  columnA columnB  columnC columnD columnE
0       A       B       10       C       C
2       B       C       20       A       A
4       B       A       20       D       C