在机器学习丧失功能

机器学习的一个关键因素是损失函数。这告诉机器学习算法训练系统目前执行。学习的目的是为了减少这个损失函数的值,即让我们的机器有更好的表现。

监督式学习

在监督学习中,我们的训练数据为我们提供了正确的或期望的输出-称为标签为每个对应的输入。这个损失函数对比标签对我们的系统目前预测的输出。它给了我们一个非负数字表明之间的分歧或错误预期和预测输出。损失值为0意味着完美的表现。

平方误差

损失函数有许多口味根据任务得到解决。也许最简单的损失函数平方误差。例如,考虑下面的系统学习来预测一个人的年龄从一张照片。它输出目前想在年(21.3)和我们比较这对已知的实际年龄的人年(39.9)。我们把不同广场(-18.6)和(345.96)。现在知道的机器学习算法,系统不执行完美的输入,将努力适应机器来提高性能。我们将会理解这是如何实现的。

在课程实践中,我们不只是有一个训练的例子中,我们有很多(通常是成千上万甚至上百万的计算机视觉问题)。因此,我们需要将所有培训损失值的例子。通常,这意味着平均(给我们均方误差在这种情况下)或总结起来(的平方误差的总和)。

机器学习参数

“功能我们正在努力学习”从输入到输出的映射。我们称之为(f)。这可能是任何复杂的函数。你可能已经研究了线性函数或二次函数在数学。这些可能的选择,虽然太简单的工作在任何严重的问题。你会看到很多更复杂的数学函数,如三角函数,指数函数或高阶多项式。再一次,这些可能会工作的更大、更复杂的函数。问题是,一组可能的功能是无限的。我们如何选择一个合适的?

相反,大多数机器学习方法使用一个固定的函数形式与固定数量的参数。函数的行为就由这些参数的值。现在,而不是试图选择一个函数,我们减少了调整参数的值的问题。这就叫做参数机器学习。我们来看一个非常简单的例子中,我们的机器的输入是一个数字(x)和输出也是一个数字通过应用以下函数:

[f (x) = w_1x + w_2]

在这种情况下,输出是输入的线性函数,函数本身取决于两个参数:(w_1)和(w_2)。真正的问题,需要更多的参数。例如,这是很正常的一个图像分类网络有数百万,甚至数以百万计的参数。我们称之为网络的设置的所有参数(mathbf {w})。我们会写的函数依赖(mathbf {w})作为(f {mathbf {w}})。

学习=优化

现在我们来发现有点虎头蛇尾。当我们讨论机器学习,我们真正的意思是调整函数的参数以减少损失,平均在我们整个的训练数据集,直到我们达到一个点,不能进一步降低。调整参数来找到一个函数的最小优化。

我们可以开始写一下数学。假设我们有很多训练的例子,每个包含一个输入(x_i)和对应的期望输出值(y_i)(即我们的标签,输入)。预测我们的机器使输入(x_i) (f {mathbf {w}} (x_i))。因此我们的损失函数要比(f {mathbf {w}} (x_i))和(y_i)。我们将把这个写成(E (f {mathbf {w}} (x_i) y_i)), (E)是我们的损失函数,即“错误”。但请记住,我们有很多的训练例子,不仅仅是一对输入/标签。让我们做这简单的事情可能就失去了我们所有的加起来(n)训练的例子:

[sum_ {i = 1} ^ n E (f {mathbf {w}} (x_i) y_i))

你应该已经看到了“求和符号”在你的数学,但如果你还没有,它只是一个紧凑的写法:

[E (f {mathbf {w}} (x_1)、y_1) + E (f {mathbf {w}} (x_2)、y_2) +点+ E (f {mathbf {w}} (x_n),最大))

最后,我们可以写下的目标机器学习:

找到的w以下尽可能小:

[sum_ {i = 1} ^ n E (f {mathbf {w}} (x_i) y_i))

作为机器学习的工程师,这是我们的工作选择损失函数,(f)和决定如何使用我们的训练数据(输入和标签)。