2.6 预测编码模块中的Transformer

2.6.1 Self-Attention和Cross-Attention

Self-Attention是一种用于处理序列数据的机制，它允许模型在处理序列数据时，对序列中不同位置的元素进行加权聚合，从而更好地捕捉元素之间的依赖关系和全局信息。相较于传统的RNN,CNN, Self-Attention展现出了更强大的长期依赖关系捕捉能力和全局观察能力. 输入序列自身作为query, key和value放入attention模块中, 供自身查询自身的注意力值.

Cross-Attention是一种在两个不同输入序列之间建立关联并计算注意力权重的机制。它扩展了Self-Attention的思想，通过引入额外的输入序列来丰富注意力机制。被查询的序列作为key和value送如注意力网络, 查询的序列作为query与key, value序列交互得到权重矩阵.

2.6.1.1 agent历史轨迹编码

Self-Attention

采用Self-Attention机制, 将agent的所以时间步的历史信息全部作为key, value, 查询时某一时间步作为query. 来查询某一时间步与历史状态的相关性.

Cross-Attention

当主体是自车时, 也常常将当前帧作为query, 历史全部状态作为key, value. 查询当前状态与历史状态的相关性.

2.6.1.2 agent之间交互编码

Self-Attention

采用Self-Attention机制, 将所有的agent的信息作为key, value, 查询时某一个agent作为query. 来查询某一个agent与其他agent的交互信息.

Cross-Attention

当主体是自车时, 也常常将自车作为query, 环境中其他的交互agent作为key, value. 查询自车与环境agent的交互关系

2.6.1.3 agent与地图之间交互编码

Cross-Attention

当主体是自车时, 也常常将agent作为query, 地图相关信息作为key, value. 查询agent与地图交互关系

2.6.1.4 局部信息编码

如果在交互编码时, 对全局所有的目标都进行编码:一方面显存占用较大; 另一方面大部分远离目标的节点并不需要编码, 容易丧失真正交互对象的关注.

因此在交互编码之前, 常常进行筛选交互目标, 来得到局部信息编码:

一定范围内的节点: 取目标附近一定范围内的所有节点进行交互编码

Top-K: 取目标附近最近的K个节点进行编码, 或者是最重要的K个

2.6.2 MultiheadAttention

在预测网络中, 很多时候交互目标, 场景非常复杂. 可以将复杂的输入信息, 分割成不同的部分, 交给多个头去学习. 每个头独立地进行注意力计算，最后将这些计算的结果合并起来。这种机制使得模型能够并行地在多个表示子空间中学习输入数据的不同特征，提高了模型处理信息的能力。

我们常常在agent与agent之间交互, agent与环境交互时使用多头机制来进行交互编码, 以得到复杂场景下完善的交互关系.