LookasideVLN：方向感知的空中视觉语言导航

Ning, Y. et al. LookasideVLN: Direction-Aware Aerial Vision-and-Language Navigation. CVPR 2026, pp. 32441-32450. 论文｜arXiv

一句话总结

LookasideVLN 认为，空中 VLN 以往过度依赖“地标是什么”，却忽略了“从哪里朝哪里走”的方向语言。论文将左/右、前进、经过、上升等方向线索显式编码为以无人机自身为中心的 Lookaside 图，并结合可检索的地标空间记忆，使单层短前瞻也能取得优于依赖全局长序列规划方法的效果。

问题：地标相同，不代表下一步相同

城市空中导航中，同类建筑、道路和绿地大量重复。只根据“红顶建筑”“桥”等名词匹配，智能体可能找到正确类别却选择错误分支；而人类指令中的“在桥后右转”“沿河向前”“升高后看左侧”恰好提供了消歧所需的相对方向。

现有 MLLM 方法常维护大规模全局记忆图，并为多步候选路径做长序列对齐。这会增加存储、检索和推理开销，而且当方向关系没有明确建模时，长前瞻并不能可靠纠正空间歧义。LookasideVLN 的主张是：先把方向用好，再做短而精确的前瞻。

方法概览

系统由三个部分组成：Egocentric Lookaside Graph（ELG）、Spatial Landmark Knowledge Base（SLKB）和 Lookaside MLLM Navigation Agent。

1. ELG：以无人机为中心的方向图

ELG 以当前无人机状态为中心，动态组织指令相关地标及其方向关系。节点是地标，边表达相对方位、距离和转向关联；图会随观察和指令进展更新，而不是维护整个城市的静态全局图。

论文从指令中按原始顺序解析道路、路口、兴趣点等地标引用，并从多视角 RGB 观察中识别可见静态地标。利用检测框中心、深度与透视投影估计地标三维位置后，系统将语言方向和几何方向连接起来。这样，“下一个是桥右侧的塔”不再只是两个名词，而变成可用于候选行动筛选的关系约束。

2. SLKB：轻量的空间地标记忆

SLKB 保存以往导航中已观测地标的描述及空间关系。遇到当前视野外、但在指令中提到的地标时，系统检索相关记忆补充 ELG，而不必对全部历史观察建立并搜索庞大的记忆图。

它的作用是把短期当前视野与长期经验连接起来：当前图负责“我现在周围有什么”，知识库负责“此前见过的哪个地标与它存在何种空间关系”。

3. Lookaside MLLM Navigation Agent

导航代理将用户指令、全景视觉观察和 ELG 的地标—方向信息共同输入 MLLM。关键做法是把候选短路径转写成类似指令的文本，再与原指令作语义对齐；模型据此在少量候选行动中选择下一步，而不是从原始视觉直接生成很长轨迹。

因此“lookaside”表示面向当前决策向前看有限步：方向关系压缩了搜索空间，使一层前瞻即可产生有意义的局部规划。

实验结论

论文在 AerialVLN 等空中 VLN 设置上与 CityNavAgent 等方法比较。主要结论是：

• LookasideVLN 使用单层前瞻仍显著优于依赖更重全局图或多层前瞻的先进方法，说明方向线索不是附属特征，而是关键空间约束。
• ELG、SLKB 与方向感知的 MLLM 对齐均有贡献：移除任一部分都会降低导航表现，尤其会削弱对指令相关地标的定位与分支选择。
• 在零样本或较弱前瞻设定下仍具竞争力，表明轻量、可检索的结构化信息可减少对大规模轨迹记忆的依赖。

应将这一结果理解为“更有效的语言空间结构可降低规划深度需求”，而不是“单步决策已解决长程无人机导航”。

与相关工作的关系

工作	主要思路	LookasideVLN 的差异
AerialVLN	长程连续 UAV VLN 与 LAG 监督	强调轨迹监督，未显式建模方向语言
CityNav	真实城市与地理语义地图	使用城市级全局地图作为先验
OpenFly	自动数据平台与关键帧历史	关注数据规模与视觉历史压缩
LookasideVLN	方向感知图 + 轻量记忆 + MLLM	将方向语言作为局部规划的核心约束

局限与启发

• 地标解析、检测框和深度估计的误差会沿链路传递；错误的方向图可能比无图更具误导性。
• 该方法依赖指令中存在可利用的方向词；对纯目标描述或模糊语言，仍需更强的全局定位与探索策略。
• “以自我为中心”的关系表示对视角变化敏感，真机部署还需处理姿态估计误差、风扰和传感器时延。
• 对后续研究的启发是：应把语言中的关系词、顺序词和方向词转成可验证的几何约束，而非仅将它们交给黑盒文本编码器。