1.5 基于Graph Neural Network的预测模型

tags

password

icon

在考虑交互作用因素的预测方法时，环境中的每个对象都可以视为形成图形的节点。尽管在提取欧几里得空间数据特征时，使用RNN和CNN的某些方法取得了巨大的成功，但许多实际应用场景中的数据都是从非欧几里得空间生成的。由于许多经典的基于深度学习的预测方法都需要处理非欧几里得空间数据，因此这些方法的性能仍然不令人满意。

通常，每个场景都可以看作是一个不规则的图，每个图都有一个无序的节点(node). 图中每个节点的相邻节点的数量各不相同，导致一些重要的操作(例如卷积)易于在图像上计算，但不再适合在图表上直接使用。尽管如此，图中的每个节点都会具有与其他节点相关的边(edge), 这些边可以用来表达交通参与者之间的内在联系. 因此GNN非常适合于处理对象之间的交互信息。

对于道路相关的信息, 将其转换为栅格图, 然后使用CNN处理. 一方面需要消耗大量计算资源, 另一方面也很容易丢失信息. VectorMap使用折线和多边形表达道路信息则高效的多, 它们放在GNN中作为节点和边很容易表达. 因此在轨迹预测中得到了广泛的运用.

1.5.1 基于Graph Convolutional Network的预测模型

图形卷积网络（GCN）是最受欢迎的图形神经网络方法。图形卷积网络将卷积操作从传统的图像数据处理扩展到图数据处理。核心思路是学习映射功能，即从图中的节点和邻居的特征中提取节点间相互感知特征。

如图, [1]GRIP把交通参与者基于采样时间生成节点, 如果两个节点是同一个交通参与者, 并且是相邻时间的, 那么节点间存在一个边表达时间信息. 如果两个节点是同一时间的两个不同的交通参与者, 并且他们的距离小于阈值(存在交互), 那么节点间存在一个边表达他们的空间交互信息. 然后使用GCN网络对图进行卷积和图操作, 来增强理解. 最终传递给LSTM encoder-decoder进行轨迹预测. 后续作者还开发了GRIP++, 预测结果有更高的质量和效率.

1.5.2 基于Vector Maps的GNN

基于矢量图的GNN在轨迹预测中运用极其广泛, 大幅减少了模型数据尺寸, 显著的提升了模型对地图信息, 参与者历史信息和交互信息的理解.

如图, [2]VectorNet将道路信息, 地图区域信息和目标历史信息, 使用折线和多边形构成的矢量子图表达, 之后添加边来表达子图节点之间的联系. VectorNet对地图和轨迹编码提升贡献巨大, 后续章节会详细介绍VectorNet模型.

[3]Waymo提出的TNT模型以及后续的DenseTNT模型, 同样采取VectorNet网络进行编码, 都后来有卓越的预测效果.

1.5.3 总结

基于深度学习的预测方法, 一般是由state encoder, context encoder, interaction module, decoder组成. 每一个部分都可以由RNN, CNN, Transformer等基本网络构成.

通过不同的网络结构处理历史轨迹特征，提取交通参与者的交互信息, 道路环境信息等, 并使用序列网络获得最终预测的未来轨迹, 目前是轨迹预测的主流研究方向.

参考链接

[1] X. Li, X. Ying, and M. C. Chuah, “Grip: Graph-based interaction-aware trajectory prediction,” in Proc. IEEE Intell. Transp. Syst. Conf., 2019, pp. 3960–3966.

[2] J. Gao et al., “Vectornet: Encoding hd maps and agent dynamics from vectorized representation,” in Proc. IEEE/CVF Conf. Comput. Vis. Pattern Recognit., 2020, pp. 11525–11533.

[3] H. Zhao et al., “Tnt: Target-driven trajectory prediction,” in Proc. Conf. Robot Learn., 2020, pp. 895–904.