KNN算法 - 改善性能

首页 / 机器学习入门教程 / KNN算法 - 改善性能

无涯教程知道ML模型的参数化方式可以针对特定问题调整其行为,算法调整意味着找到这些参数的最佳组合,从而可以改善ML模型的性能,这个过程有时称为超参数优化,算法本身的参数称为超参数,而ML算法找到的系数称为参数。

网格搜索参数调整

这是一种参数调整方法,该方法关键点针对网格中指定的算法参数的每种可能组合,系统地构建和判断模型。因此,可以说该算法具有搜索性质。

在以下Python中,无涯教程将使用sklearn的GridSearchCV类执行网格搜索,以判断Pima Indians糖尿病数据集上的Ridge回归算法的各种alpha值。

首先,导入所需的软件包,如下所示:

import numpy
from pandas import read_csv
from sklearn.linear_model import Ridge
from sklearn.model_selection import GridSearchCV

现在,需要像之前的示例一样加载Pima糖尿病数据集-

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names = headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来,如下判断各种alpha值;

alphas=numpy.array([1,0.1,0.01,0.001,0.0001,0])
param_grid=dict(alpha=alphas)

现在,无涯教程需要在模型上应用网格搜索-

model=Ridge()
grid=GridSearchCV(estimator=model, param_grid=param_grid)
grid.fit(X, Y)

使用以下脚本行打印输出-

print(grid.best_score_)
print(grid.best_estimator_.alpha)

输出

0.2796175593129722
1.0

上面的输出提供了最佳分数以及网格中达到该分数的参数集。在这种情况下,alpha值为1.0。

随机搜索参数调整

这是一种参数调整方法。该方法工作的关键是从固定分布的迭代次数的随机分布中采样算法参数。

链接:https://www.learnfk.comhttps://www.learnfk.com/python-machine-learning/machine-learning-with-python-improving-performance-of-ml-model.html

来源:LearnFk无涯教程网

在以下Python配方中,将使用sklearn的RandomizedSearchCV类执行随机搜索,以判断Pima Indians糖尿病数据集上的Ridge回归算法在0到1之间的不同alpha值。

首先,导入所需的软件包,如下所示:

import numpy
from pandas import read_csv
from scipy.stats import uniform
from sklearn.linear_model import Ridge
from sklearn.model_selection import RandomizedSearchCV

现在,需要像之前的示例一样加载Pima糖尿病数据集-

path = r"C:\pima-indians-diabetes.csv"
headernames = ['preg', 'plas', 'pres', 'skin', 'test', 'mass', 'pedi', 'age', 'class']
data = read_csv(path, names=headernames)
array = data.values
X = array[:,0:8]
Y = array[:,8]

接下来,按以下方法在Ridge回归算法上判断各种alpha值-

param_grid = {'alpha': uniform()}
model = Ridge()
random_search = RandomizedSearchCV(
   estimator = model, param_distributions = param_grid, n_iter = 50, random_state=7)
random_search.fit(X, Y)

使用以下脚本行打印输出-

print(random_search.best_score_)
print(random_search.best_estimator_.alpha)

输出

0.27961712703051084
0.9779895119966027

上面的输出为无涯教程提供了最佳分数,与网格搜索类似。

这一章《KNN算法 - 改善性能》你学到了什么?在下面做个笔记吧!做站不易,你的分享是对我们最大的支持,感谢!😊

好记忆不如烂笔头。留下你的足迹吧 :)

相关推荐

Java业务开发常见错误100例 -〔朱晔 - 〕

图解 Google V8 -〔李兵 - 〕

跟月影学可视化 -〔月影 - 〕

零基础入门Spark -〔吴磊 - 〕

更新 tkinter 窗口而不关闭它

如何从 python 中的滴定点创建函数?

抽认卡扔硬币字典

如何解决“用户警告:DataFrame 列不是唯一的,某些列将被省略”?

具有扩展列的 Pandas GroupBy 函数

使用 strptime 时出现“re.error:重新定义组名”

视频推荐

Python机器学习 - 10-逻辑回归原理 更多视频教程 »