深度学习历史

作为机器学习工程师，我们的一部分是决定将输入输入到输出的功能的形式。我们将简要介绍一下导致一个结论是，所谓的深度学习是最好的选择，这是我们应该使用的功能的形式而言的意思。

功能工程

通常，我们的原始输入数据（例如音频流或图像）非常高。这意味着我们有数千甚至数百万个输入值。手工设计一个可以处理这种复杂性的功能非常困难，这使研究人员数十年来一直专注于所谓的功能工程。这个想法是手工制作，即手工设计或工程师，某些功能。这些功能是可以从您的原始数据中提取的东西，这些内容以某种方式总结或简化了高维输入。

边缘检测

例如，假设您想识别图像中的对象。您可能会决定对象的轮廓是一个很好的功能。因此，现在您需要一种方法来从图像中提取对象的边界。此任务称为边缘检测。也许您将边缘定义为颜色迅速变化的位置（即，当您从物体到背景的边界越过边界时，您会期望颜色急剧变化）。但是现在您开始遇到问题。您应该使用什么阈值来定义何时颜色何时由边缘引起？这个阈值永远工作吗？当一个物体在与对象相同的背景前面的对象前面，所以没有明显的边缘呢？具有内部纹理的对象会导致对象中检测到许多边缘的对象呢？

您可能会想到更多的问题。而且，谁能说对象边界是一个很好的功能？

尽管有局限性，直到2010年代中期，功能工程仍在计算机视觉中占主导地位。一些方法实际上非常成功。例如，刻度不变特征变换（SIFT - 在1999年提出）是一种在图像中找到有趣的点，然后以非常独特的方式描述它们（因此可以在另一个图像中再次找到）。对于某些问题的最新技术，这种方法仍然具有很高的竞争力。但是，即便如此，2012年有人注意到，如果您采用了SIFT生产的功能描述符，并将平方根应用于值，则在许多任务上的性能提高了约5％！这种情况显然有些荒谬。为什么要平方根？为什么首先要筛选？您如何确定您无法对功能进行一些小的修改，从而可以提高您要解决的任务的性能？

端到端的学习

该论点激发了端到端学习的想法。这个想法是，您将在无需手工工程的任何用于解决问题的功能的情况下，一一学习从原始输入数据到最终输出的整个映射。因此，机器学习算法将必须学习低级功能（可以立即从原始输入中计算出的东西），中级功能（更抽象的概念是由低级功能组合而成的，可能有一些不变性变化的来源）和高级别特征（输入数据内容的抽象描述）。以图像的示例为例，低级别的特征可能是边缘，中级特征是眼睛和高级特征图像中面部的身份。但是请记住 - 所有这些都将学习 - 您不会提前设计任何这些功能。

深度学习

很明显，我们试图学习的功能将变得复杂。如何将图像映射到图像中面部的身份？事实证明，构建足够复杂性功能的最佳方法是，将它们构成许多简单功能的组成，即彼此应用。因此，我们的总体功能（f_w（x））定义为：

[f_w（x）= f^n_ {w_n}（点f^2_ {w_2}（f^1_ {w_1}（x）（x））]]]

这意味着我们首先将（f^1）应用于（x），并且此功能具有其自己的参数（W_1）。然后，我们将（f^2）应用于（f^1）的结果，然后将（f^3）应用于该结果，依此类推。深度学习中的“深度”是指许多功能接一个地应用于输入。事实证明，这一深度为总体功能提供了巨大的力量。

参考

1. Lowe，David G.“从刻度不变的关键点中的独特图像特征”。国际计算机视觉杂志60.2（2004）：91-110。
2. Arandjelović，Relja和Andrew Zisserman。“每个人都应该知道的三件事以改善对象检索。”2012 IEEE计算机视觉和模式识别会议。IEEE，2012年。