Skip to content

CommNav：通过通信寻找目标人物的社会导航

Sacco, V., Scofano, L., Spinelli, I., & Galasso, F. Robots Ask the Way: Communication-Enabled Social Navigation. arXiv:2607.01044v1, 2026. 论文｜代码

三个问题

1. 论文解决了什么问题？

当服务机器人要在住家、办公室等多人环境中找到特定的人时，传统社会导航只会避障或逐房搜索，无法利用旁观者对目标人物最近位置、移动方向的知识。论文提出 CommNav：机器人可主动接近遇到的人并“问路”，将偶发、可能不完整的人类线索转化为更高效且安全的目标人物搜寻与跟随。

2. 作者解决问题提出了什么方法？

作者扩展 Habitat 3.0 为 Habitat 3.0c，并在 DDPPO 视觉导航策略旁加入 COMM 通信模块。遇到非目标人物时，COMM 接收“是否见过、多久前、最后位置、移动方向、说话者历史轨迹”五类自我中心线索，先回归目标的当前相对位置，再和 RGB-D 视觉特征融合决策；无通信时回退到原视觉策略。为学习稀疏线索，COMM 先以 2.4M 条仿真通信样本做位置回归预训练，随后冻结模块并微调策略。另以 Qwen3-8B 把结构化线索转为自然语言，训练 BERT 编码的语言版本 COMML。

3. 对我有什么启发？

“何时向谁提问”可被视为导航的一种主动感知动作，而不只是语言接口。更稳健的做法不是让端到端策略从稀少的对话奖励中自行摸索，而是将对话先压缩为几何上可检验的中间量（目标相对位置），用预训练模块解决，再交给导航器融合。同时，真实口语的缺省与模糊应当作为评测条件，而非只在精确指令上报告结果。

一句话总结

CommNav 让机器人向身边人询问目标的近期去向，并以预训练的 COMM 将零散通信线索转换为目标位置估计；在 Habitat 3.0c 的多人仿真中，COMM 将完整任务成功率从交互式 DDPPO 的 0.14 提升到 0.24，且对人类提供的简略口语保持接近的表现。

问题与动机

作者关注的不是“避免撞人”，而是在地图未知、多个行人持续移动的场景中定位并安全跟随目标人物。旁观者不一定遇到目标，线索也只在机器人靠近、面向对方时才获得，因此通信既有绕路与交互成本，也不能取代自主导航。论文的核心目标是在这类稀疏、间歇的人机通信下，学习何时接近旁观者、如何根据所获线索改变搜索方向（第 I、III 节）。

方法：将问路转为位置传感

1. 通信状态与自然语言落地

一次通信状态为 S={xh, xt, xl, xd, xp}：xh 表示说话者是否见过目标，xt 是距上次见到目标的步数，xl 为最后已知三维位置，xd 为目标方向，xp 是说话者最近 100 个三维轨迹点；所有坐标相对于说话者当前位置表示。作者用 Qwen3-8B 将这些精确信号改写为短句，不使用“厨房”等地名，以避免策略依赖场景语义查表（第 III-A 节）。

2. COMM 预测与策略融合

结构化 COMM 把 xp 经时空轨迹编码器嵌入，再与其余四类线索拼接，输入四层 MLP 回归目标当前位置；轨迹编码器使用 3 个注意力头、隐藏维度 64。语言版 COMML 则以冻结 BERT 编码文本、回归同一位置。这个估计作为类似 PointGoal 传感器的并行输入，与 ResNet 编码的 RGB-D 观察一起送入 DDPPO。训练先让视觉策略不带通信地学习，再用冻结的 COMM 进行微调，避免稀疏通信信号难以端到端学到的问题（第 III-B 节、附录 C）。

3. Habitat 3.0c 任务

Habitat 3.0c 允许多位人类代理；机器人在通信范围内且面向某人时获得线索。人类以 0.25 概率在整集忽略机器人，环境还加入 ORCA，使策略必须处理近距离交互与人发起的碰撞。机器人以自我中心深度图和人类检测器为输入，输出线速度、角速度；目标是找到目标，并在 1–2 m 安全距离内面向其跟随规定步数（第 III-C 节）。

实验与结果

训练使用 24 个并行 Habitat 3.0c 环境，测试覆盖 12 个未见环境、每项 400 集。指标包括找到目标比例（S）、首次找到步数（Ssteps）、最优路径效率（SPS）、安全跟随比例（F）、所有碰撞比例（CR）、撞到目标比例（CRT）和完整任务成功率（ES）（第 IV 节、表 I）。

  • 通信收益：在多人 Habitat 3.0c 中，DDPPO/SDA 的 ES 仅为 0.14/0.16；单纯允许交互的 DDPPO 仍为 0.14。COMM 达到 S=0.78、ES=0.24、Ssteps=572，较交互式 DDPPO 的 S=0.70、ES=0.14、608 步更能找到目标；CR 也由 0.68 降至 0.51（表 I）。
  • 自然语言与人类口语：COMML 在 LLM 生成指令上取得 S=0.78、ES=0.20。20 位参与者各给 50 个状态图提供口语方向后，100 集评测的 COMML(Human) 为 S=0.72±0.05、ES=0.23±0.01；作者观察到其目标位置预测误差与 COMML 近似，说明性能差异更多来自下游避碰敏感性而非语言解析的异常值（第 IV-B 节、图 4）。
  • 线索与规模消融：移除“是否见过”xh，ES 从 0.24 降为 0.19；移除时间 xt 或完整说话者轨迹 xp 时也降至 0.19/0.18，说明线索可信度与时效很关键（表 II）。三人、半速的较宽松设置中，COMM 的 ES=0.29，高于 DDPPO/SDA 的 0.21/0.24（表 III）。

局限与批判性阅读

作者明确承认实验仍是传感无噪声、以完美自我中心坐标对齐的仿真；部署到真实机器人还需可靠的人体分割、身份识别与语音交互。框架只研究单轮问询，未处理澄清、矛盾证词、拒答后的多轮对话管理。人类评测虽验证了简略语言，但仅 20 位参与者、100 个测试集，且没有真实机器人、ASR 噪声或隐私约束下的端到端测试。论文也指出，跟踪和询问人会带来监控风险，现实系统需要明确同意、隐私保护与通信政策限制。

与现有 VLN 笔记的关系

Vision-and-Dialog Navigation 与 DialNav 将对话作为从远程向导获取路线或澄清信息的通道；CommNav 则在同一物理空间内向偶遇的旁观者索取关于第三方目标的时空线索。它也可与 Path-Etiquette 互补：前者解决“向谁问、问后往哪里去”，后者解决“在去往该方向的候选路径中，怎样避免打扰周围活动”。

术语与关键证据

  • Communication-enabled Social Navigation（CommNav）：作者提出的主动问询、搜寻并安全跟随指定人物的多人社会导航任务。
  • COMM：将异构通信状态回归为目标相对位置的预训练模块，而非直接把原始对话 token 拼接到动作策略。
  • Episode Success（ES）：既找到目标又在 1–2 m 安全距离内完成规定跟随步数的比例；它比单纯找到目标（S）更严格。