Python/python ml train test

<languages />

机器学习-训练/测试

评估模型

在机器学习中，我们创建模型来预测某些事件的结果，例如在上一章中，我们在知道重量和发动机尺寸的情况下预测了汽车的二氧化碳排放量。

要衡量模型是否足够好，我们可以使用一种称为训练/测试的方法。

什么是训练/测试

训练/测试是一种测量模型准确性的方法。

之所以称为“训练/测试”，是因为您将数据集分为两组：训练集和测试集。

80％用于培训，20％用于测试。

You train 使用训练集的模型。

You test 使用测试集的模型。

Train 该模型意味着 create 该模型。

Test 模型是指测试模型的准确性。

从数据集开始

从要测试的数据集开始。

我们的数据集说明了商店中的100位客户及其购物习惯。

例

  import numpy
import matplotlib.pyplot as plt
numpy.random.seed(2)


x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 
  100) / x

plt.scatter(x, y)
plt.show()

结果：

x轴表示购买前的分钟数。

y轴表示在购买上花费的金额。

运行示例»

分成训练/测试

The training set应该是原始数据的80％的随机选择。

The testing 设置应为剩余的20％。

train_x = x[:80] train_y = y[:80] test_x = x[80:] test_y = y[80:]

显示训练集

显示与训练集相同的散点图：

例

  plt.scatter(train_x, 
  train_y)
plt.show()

结果：

它看起来像原始数据集，因此似乎是一个公平的选择：

运行示例»

显示测试集

为确保测试集没有完全不同，我们还将介绍一下测试集。

例

  plt.scatter(test_x, 
  test_y)
plt.show()

结果：

测试集也看起来像原始数据集：

运行示例»

拟合数据集

数据集是什么样的？我认为最合适的选择是 多项式回归

，让我们画一条多项式回归线。

要通过数据点画一条线，我们使用 plot() matplotlib模块的方法：

例

通过数据点绘制多项式回归线：

  import numpy
import 
  matplotlib.pyplot as plt
numpy.random.seed(2)

x = 
  numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 100) / x


train_x = x[:80]
train_y = y[:80]

test_x = x[80:]
test_y = 
  y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 4))


myline = numpy.linspace(0, 6, 100)

plt.scatter(train_x, train_y)

  plt.plot(myline, mymodel(myline))
plt.show()

结果：

运行示例»

该结果可以支持我对数据集拟合多项式回归的建议，即使如果我们尝试预测数据集以外的值也会给我们带来一些奇怪的结果。示例：该行表明某位顾客在商店购物6分钟，将产生一笔价值200的购物。这可能是过度拟合的迹象。

但是R平方分数呢？R平方得分很好地指示了我的数据集对模型的拟合程度。

R2

还记得R2，也称为R平方吗？

它测量x轴和y轴之间的关系，取值范围为0到1，其中0表示没有关系，而1表示完全相关。

sklearn模块具有一种称为 r2_score() 这将帮助我们找到这种关系。

在这种情况下，我们要衡量客户停留在商店的时间与他们花费多少钱之间的关系。

例

我的训练数据在多项式回归中的拟合度如何？

  import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)


x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 
  100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]

  test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 
  4))

r2 = r2_score(train_y, mymodel(train_x))

print(r2)

注意： 结果0.799表明存在OK关系。

引入测试仪

现在，至少在训练数据方面，我们已经建立了一个可以的模型。

现在，我们也要使用测试数据来测试模型，以查看是否给出相同的结果。

例

让我们在使用测试数据时找到R2分数：

  import numpy
from sklearn.metrics import r2_score
numpy.random.seed(2)


x = numpy.random.normal(3, 1, 100)
y = numpy.random.normal(150, 40, 
  100) / x

train_x = x[:80]
train_y = y[:80]

test_x = x[80:]

  test_y = y[80:]

mymodel = numpy.poly1d(numpy.polyfit(train_x, train_y, 
  4))

r2 = r2_score(test_y, mymodel(test_x))

print(r2)

注意： 0.809的结果表明该模型也适合测试集，我们相信我们可以使用该模型预测未来价值。

预测值

现在我们已经确定我们的模型是正确的，我们可以开始预测新值了。

例

如果购买客户在商店中停留5分钟，他/她将花费多少钱？

  print(mymodel(5))

该示例预测客户花费了22.88美元，似乎与图表相对应：

文件:Img traintest predict.png