AVDN：空中视觉与对话导航

Fan, Y. et al. Aerial Vision-and-Dialog Navigation. Findings of ACL 2023, pp. 3043-3061. 论文｜代码｜数据

一句话总结

AVDN 将无人机导航从“一次性听从指令”扩展为异步人机对话：指挥者给出初始目标，飞手/智能体在不确定时发问，指挥者可稍后补充说明。论文配套提出连续俯视仿真器、3,064 条人—人对话飞行轨迹，以及把人类视觉注意力作为辅助监督的 HAA-Transformer 基线。

用户（Commander）希望以免手持方式控制无人机，给出“飞过哪条路、经过哪些地标、最终在哪降落”等自然语言说明；无人机代理（Follower）观察机载俯视画面和历史轨迹，在必要时向用户提问。用户不必持续盯着飞行画面，而是在方便时回答，因此对话是异步且自由形式的。

这比常规 VLN 多出两项困难：语言本身含歧义，且后续对话往往依赖“刚刚经过的路口/黄色建筑”等历史视觉证据。无人机还在连续状态、连续位置变化的空中环境中飞行，难以直接套用离散图导航。

作者构建连续、近真实感的俯视无人机仿真器，机载相机朝下。众包工作者担任指挥者，具备飞行经验的操作者担任 follower；由此收集 3,064 条轨迹、异步多轮人—人对话和沿途的人类注意力标注。注意力以视图中的关注区域表示，记录了人在理解语言并控制无人机时“看哪里”。

这份数据的价值不在于只提供目标坐标，而在于同时保留：对话何时发生、当时的视觉历史、相对轨迹和人类注意力，使模型能研究语言指代、澄清提问与视觉落地。

模型在当前对话轮次中，根据此前及当前对话预测一个子轨迹，评估它能否完成该轮次的局部导航目标。这更接近“收到补充说明后继续飞”的交互过程。

模型一次获得完整对话历史，并需要生成直到最终目标的完整轨迹。它的时间跨度更长、误差更容易累积，因此明显更难。两种任务都需要从大范围连续空间预测动作，并在语言和真实感航拍视觉之间建立对应。

HAA-Transformer 是序列到序列的多模态基线：它编码对话历史、当前/历史视觉观察和飞行状态，输出用于导航的航点以及停止决策。以航点而非直接在密集连续空间中搜索，降低了动作预测复杂度。

核心创新是联合预测人类注意力。除导航损失外，模型还学习从对话和视觉预测飞手会关注的区域；推理时，这一辅助任务促使模型把语言中的地标对齐到更相关的图像区域。其作用可概括为“让模型学习人类在找目标时应该看哪里”，而非只拟合最终动作。

指标包括 SPL（成功且路径高效）、SR（成功率）和 GP（目标进展）。在未见测试场景上，HAA-Transformer：

在 ANDH 达到 SPL 12.9、SR 15.7、GP 53.7；高于不使用注意力辅助的 Episodic Transformer（SPL 11.3、SR 13.3、GP 51.7）。
在更难的 ANDH-Full 达到 SPL 4.1、SR 6.3、GP 63.2；完整长程轨迹的成功率仍很低。

消融表明，视觉与语言的结合优于单一模态；人类注意力监督对较长轨迹尤其有帮助。与此同时，ANDH-Full 的低 SPL/SR 说明仅有对话历史不足以解决长时程记忆、空间定位和误差累积。

AVDN/ANDH 主要研究“给定对话历史如何导航”，而 AerialVLA 进一步把“是否主动提问”作为决策动作，并用空间—时间记忆处理新指令对历史地标的指代。因此，AVDN 是空中对话导航数据和评测的基础；AerialVLA 则更强调在线闭环交互。