2.5 时序数据处理模块 | 自动驾驶小白说

2.5.1 1D-CNN

ND-CNN是指卷积核沿着数据的N个方向滑动. 这里以常见的图像为例, 回顾一下2D-CNN.

如图, 图像是一个3维数据, 红色的卷积核沿着和的方向移动, 直到完成卷积. 这里卷积核kernel的维度是, 第3维对应图像的通道数, 也就是RGB. 卷积的计算方式可参考下图, 不再赘述.

那么对于轨迹数据来说, 如果每个时间的状态是,卷积核沿着时间维度移动完成卷积. 卷积核kernel的维度是, 第二维对应.

2.5.2 GRU

GRU（Gate Recurrent Unit）是RNN的一种。是在LSTM（Long-Short Term Memory）基础上发展出来的，同样是为了解决长期记忆和反向传播中的梯度消失等问题。

GRU相较于LSTM, 门和参数都更少. 在很多场景下, 效果接近LSTM但是计算成本明显降低.

GRU内部主要由重置门和更新门组成, 输入是当前时间步的输入和上一时间步的隐状态

接着将重置门输出与隐状态重新集成, 并通过函数使结果保持在区间内

最后得到当前时间步的隐状态输出:

GRU使用了较少的门, 实现了遗忘和记忆的功能.

2.5.3 优缺点对比

2.5.3.1 1D-CNN的优缺点

优点：

局部特征提取能力强：1D-CNN通过卷积层能够自动提取序列数据中的局部特征，这对于处理时序数据中的模式识别任务非常有效。

并行计算：CNN可以并行计算, 大幅度提升了训练和运行效率。

缺点：

长期依赖关系捕捉不足：由于卷积操作主要关注局部特征，1D-CNN难以捕捉长期依赖关系。

2.5.3.2 GRU的优缺点

优点：

捕捉长期依赖关系：GRU通过其内部的门控机制（更新门和重置门）能够有效地捕捉序列数据中的长期依赖关系。

参数较少：与LSTM相比，GRU的参数更少，这使得模型训练更加高效，同时减少了过拟合的风险。

缺点：

计算成本：GRU无法进行并行计算, 按时间顺序执行导致训练和运行成本都比较高。

在处理时序数据时，1D-CNN和GRU各有其优势。1D-CNN擅长提取局部特征，适用于对局部模式敏感的任务；而GRU则擅长捕捉长期依赖关系，适用于需要理解整个序列上下文的任务。在实际应用中，可以根据具体任务的需求和数据特点来选择合适的模型。如果需要同时考虑局部特征和长期依赖关系，也可以考虑将1D-CNN和GRU结合使用，形成卷积循环神经网络（CRNN），以充分利用两者的优势。

2.5.4 其他网络

RNN, LSTM等网络也是处理时序数据的经典网络, 可以参考李沐老师的动手学深度学习进行详细学习, 不再赘述.

参考链接

https://zh.d2l.ai/chapter_recurrent-modern/gru.html