Python 确保 pandas.crosstab 返回一个方阵

发布于07月06日

I am currently using pandas.crosstab to generate the confusion matrix of my classifiers after testing. Unfortunately, sometimes my classifier fails, and classifies every signal as a single label (instead of multiple labels). pandas.crosstab generates a single vector (or a non-square matrix) in that case instead of a square matrix.
As example, my ground truth would be

true_data = pandas.Series([1, 1, 2, 2, 3, 3, 4, 4, 5, 5])

我的预测数据是

pred_data = pandas.Series([3, 3, 2, 3, 2, 1, 1, 3, 4, 1])

应用pandas.crosstab(true_data, pred_data, dropna=False)个给定值

col_0  1  2  3  4
row_0
1      0  0  2  0
2      0  1  1  0
3      1  1  0  0
4      1  0  1  0
5      1  0  0  1

有没有办法

col_0  1  2  3  4  5
row_0
1      0  0  2  0  0
2      0  1  1  0  0
3      1  1  0  0  0
4      1  0  1  0  0
5      1  0  0  1  0

取而代之的是，留下矩阵方块，用0填充缺失的标签？

推荐答案

您可以创建所需形状的zeros个数组，然后用crosstab替换数组的一部分

xtab = pd.crosstab(pred_data, true_data, dropna=False).sort_index(axis=0).sort_index(axis=1)
all_unique_values = sorted(set(true_data) | set(pred_data))
z = np.zeros((len(all_unique_values), len(all_unique_values)))
rows, cols = xtab.shape
z[:rows, :cols] = xtab
square_xtab  = pd.DataFrame(z, columns=all_unique_values, index=all_unique_values)

Output

     1    2    3    4    5
1  0.0  0.0  1.0  1.0  1.0
2  0.0  1.0  1.0  0.0  0.0
3  2.0  1.0  0.0  1.0  0.0
4  0.0  0.0  0.0  0.0  1.0
5  0.0  0.0  0.0  0.0  0.0

我还没有考虑/测试，如果不匹配处于"中间"——例如，如果pred_data = [1, 2, 4, 5]和true_data = [1, 2, 3, 4]，这种方法是否有效