使用顺序数据的秋季检测

重要的是要注意，简单地处理单个顺序框架还不足以区分秋天和其他日常生活的活动，例如躺下，因为还需要有关运动的信息。我们将通过利用运动信息来研究如何使用深度学习来检测跌倒。深度神经网络能够从其训练数据中提取最歧视性特征，并在秋季检测中利用该数据。

建模顺序数据

在机器学习中，在许多情况下，每个点（时间，空间等）的输出不仅取决于同一点的输入，还取决于其他点的输入。此类数据称为顺序数据，对此类数据进行分类称为序列标记。数据可以沿任何连续或离散维度（例如时间和空间）进行顺序。在培训具有顺序数据的深神经网络时，可以使用复发性神经网络（RNN）。常规神经网络（也称为馈送前向网络）和RNN之间的差异是RNN中的反馈回路。

当展开时，该循环会在网络中产生复发连接，该连接建模了顺序数据元素之间存在的相关性。为了训练具有长时间或序列深度序列的神经网络，可以使用称为长期记忆（LSTM）神经网络的RNN的变体。

用视频数据建模

在室内环境中，秋季事件可能发生在黑暗或照明不良的房间或区域。为了与照明条件的变化以及保留受到监视的个人的隐私性保持稳健，深度摄像头可以使用深度图代替常规摄像头。一个经过2D数据（图像）训练的深神经网络能够编码空间信息，但是要提取秋季检测所需的运动功能，必须对网络进行3D数据（视频）培训。主要身体关节的3D位置携带区分不同动作所需的大部分身体运动信息，包括跌倒和处理此类数据与常规摄像机数据相比，计算上的数据很便宜。

身体骨骼状态在不同的时间步骤之间存在相关性。为了利用此顺序嵌入在输入序列中的顺序信息，将RNN用作深度学习模型。因为诸如跌倒之类的动作可能需要几个帧（运动），所以训练数据可以在长期内将其视为顺序，因此使用LSTM神经网络。经过3D数据训练的深度神经网络可以同时提取空间和时间特征，但是在大多数情况下，秋季事件将发生在整个框架的子区域，从而同样处理整个框架可能会导致显着的跌落特征减少。因此，可以与另外3D DNN一起对LSTM进行培训，以对秋季和非垂坠活动进行分类。

用射程多普勒雷达建模

与摄像机类似，可以使用来自范围多普勒（或频率调制连续波）雷达的数据来训练深度神经网络，以检测其他日常生活活动中的跌幅。与人类总体运动活性相对应的雷达信号本质上是非平稳的，可以揭示肢体和各种人体运动的速度，加速度和高阶多普勒项。该范围是另一个重要的信息，可以从宽带雷达信号中获得，并且可以在任何时间点揭示人类位置。

连续波（CW）雷达检测到移动物体的径向速度，该物体的径向速度改变了信号的频率，称为多普勒偏移，并携带有关人躯干，四肢和人体其他部分的速度的信息。与单个域的使用相比，训练来自两个域（多普勒偏移和范围）的深层神经网络的秋季分类率更高。

雷达数据可以表示为频谱图（随时间变化，信号频率频谱的视觉表示），范围数据作为范围映射。

现在，组合的雷达数据可以视为任何其他图像，并用作卷积神经网络的输入，以将其归类为秋季或其他日常生活活动。