多层感知

神经网络

我们现在准备介绍一个神经网络。您可能意识到“神经”意味着这些网络与人脑有所联系。确实，神经网络的最初灵感确实是人的大脑，但我们实际使用的模型比真实的大脑非常简单。

神经网络的基本构件是神经元。您可能听说过大脑中的神经元。我们知道，人脑是由十亿个神经元组成的十亿个神经元组成的。生物神经元是一种通过称为树突的部分接收多个输入的细胞。神经元内部进行了某种处理，以决定是否应该“发射” - 这意味着沿其轴突发送输出信号。在大多数情况下，轴突连接到另一个神经元的树突，组成网络。

人造神经元

人工神经元是生物神经元的非常简化的模型。同样，它具有多个（（n））输入值。每个输入值（（x_i））乘以不同的权重（（W_i））。然后将这些缩放的输入值添加在一起，然后添加一个称为偏差（（b））的常数。最后，将函数（通常是非线性函数）应用于此汇总值，并提供神经元的单个输出值。

从数学上讲，我们可以写下神经元的行为为：

[y = f（b + sum_ {i = 1}^n w_ix_i）]

重量和偏见是参数神经元。这些是我们可以调整的值，以尝试降低我们的损失功能的价值训练。

功能（f）称为激活函数。已经尝试了许多不同的功能，并提供了完全不同的行为。最初的神经元模型是在1958年一直提出的！他们称之为感知者并使用以下激活函数：

（f（z）= 0）if（z

如果其输入为负，则该函数将输出零，否则输出一个函数。最初，该单个神经元感知龙直接用于分类，其中零或一个输出指示两个可能的类。但是，该模型极为有限，甚至无法解决一些非常琐碎的问题。

需要两个关键的进一步发展。首先，很快就意识到一个神经元还不够强大。其次，具有从0跳到1的激活功能证明训练有问题。

多层感知器

首先，让我们看看如何将许多神经元组合到神经网络中。网络具有一个或多个输入值。这些输入中的每一个都与第一个输入连接到每个神经元隐藏层。这些神经元中每个神经元的输出都连接到第二个隐藏层中所有神经元的输入。经过选择的隐藏层数，我们最终有了一个输出层，通常仅包含一个神经元，并且在最后一个隐藏层中所有神经元的输出作为其输入。我们称之为多层感知器（MLP）或完全连接的网络。这是一个例子：

前馈网络

该MLP有四个输入，两个隐藏层（其中第一个具有八个神经元，其中第二个具有四个）和一个输出。每个神经元都应用上面讨论的功能，并具有自身的权重和偏见。这种类型的网络称为前馈网络由于它没有循环（即神经元的输出永远不会连接到早期层中神经元的输入）。这与大脑不同，但使训练成为可能。我们仅在本课程的其余部分中考虑Feelforward网络。

整流线性单元

最后，我们需要决定激活函数。数十年来，研究人员实验了从0平稳过渡到1的功能整流线性单元（relu）：

（f（z）= 0）if（z

如您所见，这有效地阻止了负数传递，否则它允许该值通过不变。

多层感知器（MLP）仍然非常广泛地使用，实际上，最近已将其重新发现为表示隐式函数的最新方法。有关最近的示例，请参见下面链接的惊人NERF纸。

参考

1. 罗森布拉特，弗兰克。感知者，感知和识别自动机项目。康奈尔航空实验室，1957年。
2. Mildenhall，Ben等。“ NERF：将场景表示为视图合成的神经辐射场。”欧洲计算机视觉会议。施普林格，Cham，2020年。（（https://www.matthewtancik.com/nerf）