R 用LOOCV进行K近邻问题

我们希望从train_data中go 掉1，以验证我们的结果是否不是由某个特定行驱动的，并且我们不会触及test_set.这两个都是在没有LOOCV的情况下进行kknn米比赛之前创建的，

set.seed(42)
smp <- sample.int(nrow(data), nrow(data)*.7)
train_data <- data[smp, ]
test_set <- data[-smp, ]

所以我们不再需要原始的data美元了.

假设我们希望结果是nrow(loo) == (test_set)和ncol(loo) == (train_data)的矩阵loo，我们对其进行初始化

loo <- matrix(NA_character_, nrow=nrow(test_set), ncol=nrow(train_data))

现在把它填好，每kknn个中就有一个.

for (i in seq_len(nrow(train_data))) {
  fit <- kknn(formula=as.factor(Response) ~ ., train=train_data[-i, ], 
              test=test_set, k=3, scale=TRUE) 
  loo[, i] <- as.character(fit$fitted.values)
}

请注意，我们最好在公式中对响应as.factor进行分类，这增加了安全性，如果像在OP中一样是数字的.因此，fit$fitted.values也将作为我们想要的矩阵中的一个因子as.character返回，以防止将这些因子强迫为整数.

现在我们可以用loo个结果做很多事情，例如，看哪一个遗漏的观测可能会影响模型预测，

> loo == model$fit
     [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8]  [,9] [,10] [,11]
[1,] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE  TRUE  TRUE
[2,] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE  TRUE  TRUE  TRUE
[3,] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE  TRUE  TRUE  TRUE
[4,] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE FALSE  TRUE  TRUE
[5,] TRUE TRUE TRUE TRUE TRUE TRUE TRUE TRUE  TRUE  TRUE  TRUE

在本例中，这是第train_data行.

或者计算正确预测all个分类的比率.

> mean(apply(loo == model$fit, 2, all))
[1] 0.9090909

Data:个

稍微扩展了一点，以便有更多的观察.

data <- data.frame(
  V1=c(1.2, 2.5, 3.1, 4.8, 5.2), 
  V2=c(0.7, 1.8, 2.3, 3.9, 4.1), 
  V3=c(2.3, 3.7, 1.8, 4.2, 5.5), 
  Response= c(0, 1, 0, 1, 0)
)
data <- rbind.data.frame(data, data, data, row.names=FALSE)