什么是对手的例子？

在这里，我们将研究神经网络的弱点，这种方式可以被对手“攻击”以产生荒谬的输出。

对抗性例子

对抗性示例是专门设计的网络输入，以使网络犯错。这些示例在理论上很有趣，因为它们可能会告诉我们一些有关网络所学的知识以及如何做出决策的信息。另一方面，它们实际上也令人担忧。

考虑自主系统，例如自动驾驶汽车。如果恶意人可以将图像附加到汽车后部，从而导致自动驾驶汽车中的视觉系统产生废话，该怎么办？这似乎很远，但已经证明可以创建可以打印出来的对抗贴片，并且当由CNN观察时，网络被迫犯错。

创建一个对抗示例

那么，您如何创建一个对抗性示例？事实证明，它非常容易，只需要您已经知道的技术。

以网络正确分类的任何输入映像x。假设网络接受了损失函数\（e（f（x），y​​ _ {\ text {preck {prixs}}）\）\）\（f \）应用网络和\（y _ {\ text {precker}}}）\）是\（x \）的正确标签。现在，我们希望找到一个可以添加到\（x \）的扰动，即对图像进行稍微修改，以便网络错误地将其分类为class \（y _ _ {\ text {cortsect {corverect {novect}}} \）。我们可以通过解决优化问题来做到这一点：

查找最小化的\（r \）：\（e（f（x+r），y _ {\ text {imporrect}}））+c \ | r \ | \）

像往常一样，我们使用梯度下降来求解优化，并一直通过网络返回到输入图像，因此\（r \）。我们根本不更新网络。

我们最小化的功能将两个部分添加在一起。第一部分说：make \（x+r \）被分类为\（y _ _ {\ text {corvorrect}} \），通过使分类损失尽可能低。第二部分说：make \（r \）小，以便它仅稍微修改图像。值\（c \）是一个参数，它使我们能够权衡两个目标（如果使它缩小，优化将集中于更改分类，但可能会使扰动变得很大）。

示例结果

现在我们开始了令人担忧的观察。事实证明，找到完全改变分类结果的微小修改非常容易！实际上，扰动是如此之小，甚至看不到它们！在下面的示例中，第一列中的图像都正确分类。在第二列中，我们看到r，扰动，放大，使其可见。在第三列中，我们看到\（x+r \），即扰动的图像 - 现在是一个对抗性示例。第三列中的所有三张图像都归类为…等待……鸵鸟！

您应该同意，很难看到第三列中的图像看起来与第一列中的图像不同。另外，它们看起来不像鸵鸟！

这种行为的原因仍然是一个公开的研究问题，也是许多辩论的主题。

其他攻击

上面的方法修改了整个图像少量。但是其他研究表明，只能通过修改单个像素来更改分类！或通过引入可以打印并引入真实场景的小型本地图像补丁。

防御

对抗性例子的存在令人担忧。似乎我们的网络非常脆弱。也许当它必须在现实世界中运行并看到许多新数据时，它不会概括，并且会以类似的方式犯错误？他们让我们受到恶意攻击。因此，在对抗性鲁棒性上已经有很多工作 - 有效地尝试创建无法构建对抗性示例的网络。

一个有趣的想法是将每个图像视为较小的卷，而不是高维输入空间中的点。我们没有训练才能正确分类，而是设计了一个损失，以便与训练样本距离较小的距离也可以正确分类。但是，尽管取得了进展，但对抗性攻击仍然是深度学习的主要关注点，并确保使用深度学习的系统是安全的。

参考

1. Szegedy，Christian等。“神经网络的有趣特性。”ARXIV预印ARXIV：1312.6199（2013）。
2. Su，Jiawei，Danilo Vasconcellos Vargas和Kouichi Sakurai。“一次欺骗深层神经网络的像素攻击。”IEEE进化计算交易（2019）。
3. Brown，Tom B.等。“对手补丁。”ARXIV预印ARXIV：1712.09665（2017）。
4. Wong，Eric等。“扩大可证明的对抗防御。”第32届国际神经信息处理系统会议论文集。2018。