Python Class_weight参数不影响RandomForestClassifier不平衡数据集中的结果

看起来您正在使用SMOTE来平衡您的数据集，然后才适合您的模型:

model.fit(X_train_smote, y_train_smote)

同时使用SMOTE和class_weight可能会导致冗余或竞争性调整，这可能会对您模型的性能产生负面影响.这些方法有时可能会相互干扰，因为SMOTE会修改数据集以平衡类别分布，而类别权重会调整算法对类别的敏感性.

Experiment with using one method at a time to see if it improves the classifier's responsiveness to class weights:

• Using only 100:使用您确定的类权重将您的模型匹配到原始数据集(X_train, y_train)上.
• Using only 100:在SMOTE平衡数据(X_train_smote, y_train_smote)上匹配您的模型，而不设置class_weights.

关于您设置的班级权重:

#Running the model with the best hyperparameters
weight_dict = {0: 0.59, 1: 3.12}

看起来您已经执行了超参数搜索来找到最佳类权重，这是一种有趣的方法，但并不常见.类别权重通常基于类别频率的倒数或类似的函数来计算，以帮助模型更多地关注少数群体:

from sklearn.utils.class_weight import compute_class_weight
weights = compute_class_weight('balanced', classes=np.unique(y_train), y=y_train)
weight_dict = dict(zip(np.unique(y_train), weights))
clf = RandomForestClassifier(class_weight=weight_dict)

或者更简单:

clf = RandomForestClassifier(class_weight='balanced')

由于您正在处理不平衡的数据集，请考虑使用imbalanced-learn库中的BalancedRandomForestClassifier.该分类器在每棵树的训练过程中自动对多数类执行欠采样，从而不需要单独的类权重.

关于指标，准确性和AUC-ROC等传统指标可能无法提供模型性能的完整描述，尤其是对于少数族裔群体.相反，我建议使用精确召回曲线下面积(AUC-PR).精确回忆曲线对于不平衡的数据集来说更具信息性，因为它们专门关注少数族裔的表现.我已经更详细地讨论了这个问题in this answer.

from sklearn.metrics import precision_recall_curve, auc
precision, recall, _ = precision_recall_curve(y_test, model.predict_proba(X_test)[:, 1])
auc_pr = auc(recall, precision)
print('AUC-PR Score:', auc_pr)

此外，不要使用scikit-learn的classification_report，而应考虑使用imblearn的classification_report_imbalanced，其中包括专门为不平衡数据设计的指标:

from imblearn.metrics import classification_report_imbalanced
print(classification_report_imbalanced(y_test, y_pred))

我希望这有助于找到class_weight不影响您的模型性能的原因，然后能够更好地跟踪效果.