Skip to content

PSC-AVDN：通过解析、搜索与确认实现免训练空中视觉对话导航

Qi, Y., Li, H., Huang, S. et al. Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory. CVPR 2026, pp. 23859-23868. 论文

三个问题

1. 论文解决了什么问题？

论文面向高空俯视场景的空中视觉与对话导航（AVDN）。在这一任务中，无人机需根据多轮自然语言提示寻找目标区域；地标很小、纹理弱且方向表述常含糊。直接以当前图像和指令询问多模态大模型会缺少方向落地能力、跨步空间记忆和全局搜索一致性，因此容易走偏、重复观察或误认相似建筑。

2. 作者解决问题提出了什么方法？

作者提出免训练的 PSC-AVDN：先用 LLM 把方向和目标描述解析为可执行几何线索，再用搜索链式思维逐步缩小候选区域，最后用确认链式思维核验候选目标的局部结构与相对关系。贯穿搜索和确认阶段的结构化空间记忆（SSM）同时提供多尺度视图、融合轨迹与朝向的视觉记忆，以及语义网格地图。

3. 对我有什么启发？

对话式导航中，“理解要往哪走”“粗粒度寻找”“近处确认”应分为可验证的阶段，而不是让单个 VLM 直接给出动作。尤其在俯视、远距离或小目标环境中，应把历史轨迹、方向坐标和显式地图作为模型推理的外部状态；这样既能减少长程漂移，也更方便定位失败来自感知、方向解析还是目标确认。

一句话总结

PSC-AVDN 将方向解析、分步搜索和精细确认串成免训练推理流程，并以多尺度、轨迹和网格三类空间记忆补足 MLLM 的时空状态。在 ANDH 的未见验证集上，完整方法达到 17.8 SPL、22.6 SR、39.2 GP，显著高于直接使用 Qwen-VL-Max 的 8.7、9.2、5.5（表 2、3）。

问题与动机

AVDN 要求无人机在高空俯视图中根据对话找到目标框；相较地面视角，建筑和地标尺度小、密集或稀疏，且“十点钟方向”“稍向右转”等表达不能直接对应飞行航向。既有 AVDN 方法多依赖监督微调，适应新环境时需要重新标注和训练；朴素的 MLLM 方案则把每一帧近似当作独立观察，缺少访问历史区域、更新空间信念的机制（第 1 节）。

方法：PSC-AVDN

1. 解析：把语言方向变成几何约束

解析阶段先从对话中提取移动方向和目标描述。Heading Resolution（HR）将钟点、角度和罗盘等异构方向表达统一为绝对角度，再结合无人机当前方位得到相对航向；例如，论文将“10 点钟”转换为可执行角度。目标类别、显著参照物和左右/邻接关系则被保留为后续视觉定位约束（第 3.2.1 节）。

2. 搜索与确认：先缩小范围，再排除歧义

Search CoT（S-CoT）依次完成：分析目标描述、结合当前与历史视图理解场景、生成参考网格图、在主视图定位候选区域。到达候选区域附近后，Confirmation CoT（C-CoT）再以多尺度图像逐项检查细部结构、方位与邻接关系，排除相似候选，并输出目标框、置信度和简短视觉证据。这个两段设计对应“远处找大概位置”和“近处证明是唯一目标”的不同需求（第 3.2.2-3.2.3 节）。

3. 结构化空间记忆（SSM）

  • 多尺度视觉观察（MVO）：从全局底图以不同缩放尺度裁切图像，同时保留整体布局和局部细节。
  • 空间视觉记忆（SVM）：把历史中尺度视图、当前视图、轨迹和朝向投影到统一北向地图画布；累积覆盖范围用于维持已访问区域的连续表示。
  • 结构化几何记忆（SGM）：将当前中尺度图像分成网格，为每格写入语义标签并持续更新，给 CoT 显式的位置参照。

实现中采用 DeepSeek-V3 解析指令、Qwen-VL-Max 执行搜索与确认；每轮最多执行 3 步，参考网格为 5 × 5，视觉缩放因子为 3、5、7（第 3.3、4.2 节）。

实验与结果

作者在 ANDH 子轨迹集和更长的 ANDH-Full 上评估，二者均包含已见与未见环境。指标包括成功率（SR）、按路径长度加权的成功率（SPL）和目标进展（GP）（第 4.1 节）。

  • 总体表现：在 ANDH 未见验证集，PSC-AVDN 的 SPL/SR/GP 为 17.8/22.6/39.2；在 ANDH-Full 的已见、未见验证、未见测试集，SR 分别为 22.3%、15.4%、14.4%，高于表中 OpenFly 的 10.1%、15.0%、13.3%（表 1）。论文将其定位为训练免调范式中的最佳结果，并称其在部分设置可匹配或超过监督微调方法。
  • 三阶段有效性：仅用 Qwen-VL-Max 的 SPL/SR/GP 为 8.7/9.2/5.5；依次加入解析、搜索、确认后升至 13.5/14.6/26.2、15.6/17.5/25.8、16.3/19.3/35.7（表 2）。
  • 记忆有效性：在三阶段推理基础上，同时加入 SVM、MVO、SGM 后达到 17.8/22.6/39.2；单独或部分组合均较低（表 3）。5 × 5 网格优于更小或更大的网格，缩放因子 3、5、7 的组合也最优（表 4、5）。

局限与批判性阅读

论文未单列局限性。其结论在 ANDH 系列数据上有充分的消融支持，但仍应注意：评测依赖基准中的全局底图、经纬度、历史轨迹和朝向，真实飞行的定位漂移、风扰、动态目标与感知延迟尚未验证；同时，“免训练”并不等于低成本或完全可复现，系统依赖 DeepSeek-V3、Qwen-VL-Max 和多轮提示，模型版本、API 行为与推理开销都会影响复现。与监督式 FELA 系列相比，PSC-AVDN 在 ANDH 若干切分上仍有差距（表 1），因此其优势更准确地说是降低任务适配训练需求，而非全面替代监督导航策略。

与现有 UAV-VLN 笔记的关系

AVDN 建立了空中视觉对话导航任务，LookasideVLN 关注飞行方向感知，AerialVLA 让飞行中对话可在线介入；PSC-AVDN 则把这些需求落实为不依赖任务微调的显式推理和记忆流程。它与 OctMem-Agent 同样强调空间记忆，但前者服务于“按对话定位目标框”，后者处理开放世界 ObjectNav 的目标搜索。

术语与关键证据

  • AVDN：Aerial Vision-and-Dialog Navigation；无人机根据视觉观察和多轮对话定位目标区域。
  • S-CoT / C-CoT：分别用于逐步搜索候选区和验证候选区的两种链式思维提示流程。
  • SR / SPL / GP：分别衡量是否成功到达、兼顾路径效率的成功率、以及相对目标的距离进展。
  • SSM：由 MVO、SVM、SGM 组成的结构化空间记忆，分别覆盖多尺度感知、时序视觉历史和语义化位置参照。