我试图让分类器尽可能简约.为此，我使用交叉验证来迭代删除功能.
在我的模型中，精度是最重要的指标.然而，我还想看看随着模型中输入的功能越来越少，其他指标如何发展.
我特别想判断模特的召回率和F1成绩.
rfe = RFECV(
estimator=clf, # An XGBClassifier instance
step=1,
min_features_to_select=1,
cv=cv, # A StratifiedKFold instance
scoring='precision',
# scoring=['f1', 'precision', 'recall'], # throws error
verbose=1,
n_jobs=1
)
我删除了将指标列表传递给scoring参数的行，因为它抛出了InvalidParameterError(也就是说，它不高兴我传递给它一个列表).
有没有方法将多个指标传递给RFECV实例？
RFECV仅根据功能的重要性逐个删除功能.理论上，每个使用k < K个特征的模型都可以通过多个指标进行评分.然而，一旦测试了所有可能数量的特征，RFECV就会 Select 具有最大mean_test_score的模型，这意味着它依赖于一个数字来 Select 最佳数量的特征.
RFECV如何工作，简短版本:
RFE根据"feature_importance"删除功能.然而，您仍然需要 Select k个参数-要使用的功能数量.您可以通过在测试数据集上判断所有可能的k个值的评分函数来实现这一点.然后 Select 在测试数据集上提供最佳性能的k个.这就是你最后k个功能结束的方式.然而，为了使此过程更加可靠，您可以在CV-fold上重复此过程多次.然后所有折叠的测试数据集的平均分数.
RFECV如何工作，长版本:
X_train，RFE根据feature_importance Select k个最佳特征.然后，在所选特征的每个步骤中，它使用评分器判断X_test上的模型，并返回所选k个特征的分数.k值，您都会在测试折叠上获得一个分数.该分数在所有cv折叠中获得平均值.所以您最终得到了对:(k_features，cv_Test_score)k个特征，我们都有一个平均单分值.对这些分数进行排序并用于 Select 分数最高的k个.你得到best-kbest-k个特征.总而言之，RFECV需要一个数字来决定哪个k值最好.因此，它不能使用多个评分功能，除非它们通过自定义评分器以某种方式组合在一起.
回答您的问题:如果您想获得3个单独的评分函数输出，则需要单独对rfe输出进行评分.
还要注意的是，由于f1已经是precision和recall的混合体，因此可能值得用scoring='f1'运行RFECV.