CGNet：基于组级匹配的弱监督视频个体计数
Xinyan Liu, Guorong Li, Yuankai Qi, Ziheng Yan, Zhenjun Han, Anton van den Hengel, Ming-Hsuan Yang, Qingming Huang. Weakly Supervised Video Individual Counting. CVPR 2024（依据用户提供的论文文件）。主要机构：中国科学院大学、Macquarie University、University of Adelaide、University of California, Merced 等。代码与模型
研究类型：视频理解 / 视频个体计数 / 弱监督学习；涉及多目标关联与无人机视频，但不属于视觉语言导航。下文页码按所给 PDF 页序计。
三个问题
1. 论文解决了什么问题？
视频个体计数（VIC）要统计整段视频出现过多少个不同的人，而不是逐帧人数之和。既有 VIC 与多目标跟踪方法依赖跨帧一致的身份或轨迹标注，标注昂贵，身份切换还会导致重复计数。作者提出弱监督 VIC（WVIC）：保留个体位置与相邻采样帧间的进入/离开标注，去掉具体的身份对应关系，研究能否仍准确识别新增个体。
2. 作者解决问题提出了什么方法？
CGNet 把训练目标从“每个个体必须匹配正确身份”放宽为“两帧共有的个体集合能一一匹配”。组级匹配损失 GML 用最优传输求解潜在匹配，以软对比学习拉近共有组、推远进入与离开等不匹配组。推理时，定位器和 ConvNeXt-S 提取目标特征，记忆计数器 MCP 将当前个体与近期多模板记忆匹配，累加首帧人数与后续新增人数。作者还构建了移动无人机计数数据集 UAVVIC。
3. 对我有什么启发？
以下为阅读启发：监督应围绕最终任务所需的最少信息设计。若目标只是总数，不一定需要完整、准确的身份轨迹；“共有组与新增组能否分开”可能已经足够。弱监督信号也不等于只有视频级总数：本文仍需要逐个体位置和进出标记。对移动机器人或无人机的巡检计数，可探索“组级学习 + 有期限记忆”，但需额外验证长时离场后重返是否重复计数。
一句话总结
CGNet 用位置与进出标记代替完整轨迹，通过组级软对比学习和记忆去重完成视频个体计数；在 SenseCrowd、CroHD、UAVVIC 上的 MAE 分别为 8.86、75.0、12.9，均低于对照 DRNet，同时显著减少跨帧关联标注时间（表 2–4、9）。
问题与动机
普通视频人群计数（VCC）输出每帧人数，VIC 则需要跨帧去重。核心计算是“首帧人数 + 后续首次出现的个体数”，而非把每帧人数累加，也不是扣除离开人数。出流虽然不直接进入总数公式，却有助于区分共有与不共有目标。
对一对采样帧，只要识别出哪些个体是新增的，已有个体之间即便没有正确的身份级对应，也不一定影响计数。这一观察使作者将昂贵的逐人匹配改为组级监督：每个人仍有位置标注，但只需说明是否在相邻采样帧中出现过，无需分配跨帧一致 ID（第 1、3 节、图 1）。
方法：组级学习与记忆计数
1. 定位与四组划分
定位器独立利用位置标注训练，默认采用 FIDT，并将骨干由 HRNet-W48 换为 W18。点定位输出以中心裁取 96×64 图块；若输出框，则直接裁框。图块缩放到 224×224，经 ConvNeXt-S 提取、展平并归一化为个体特征。
两帧目标按标注分为前帧共有组 X、前帧离开组、后帧共有组 Y、后帧进入组。其相似度矩阵分成四块：共有组之间为 S0，共有与新增/离开之间为 S1/S2，离开与进入之间为 S3（第 3.1 节、图 2）。
2. 组级匹配损失 GML
对共有组，潜在匹配矩阵 Ω 的行列和均为 1，允许网络自己选择一一对应。软对比项依据 Ω 加权正负对；该优化被写成平衡最优传输问题，以 Sinkhorn 算法求解。训练同时将 S1/S2 的跨组配对作为负样本，帮助区分真正进入或离开的个体。
S3 表示两侧不同个体的相似度，采用带阈值的 hinge 损失，仅惩罚过大的相似度，避免把所有特征强推至零相似而增加退化风险。总损失为软对比项与 hinge 项之和（公式 3–6）。放宽的是训练监督中的身份配对要求，推理仍使用显式匹配。
3. 带生命周期的记忆计数器 MCP
MCP 无需额外训练，为近期出现的目标保留多份外观模板。当前特征与记忆通过 Hungarian 算法做一一匹配，匹配代价超过阈值则判为新增，并创建记忆；成功匹配则补充模板、重置生命周期。目标连续未匹配时生命周期递减，归零后删除。默认采样间隔 3 秒，匹配阈值 0.7，ttl_max=3，记忆模板容量参数 mem_max=5（第 3.2、4.3 节）。
因此记忆能缓解短时遮挡、外观变化和重新进入造成的重复计数，但并非保留全视频身份历史。最终以首帧人数和每次推断的新增数累加输出（公式 10）。
实验与结果
数据与指标
- SenseCrowd：634 段视频，沿用 DRNet 的训练、验证和测试划分；CroHD：4 段训练视频、5 段测试视频。两者已有轨迹被转换为进出组标注。
- UAVVIC：移动无人机拍摄的 221 段视频，100/21/100 段用于训练/验证/测试；按 3 秒采样得 5,396 帧、398,158 个框及相邻帧组级标注，涵盖行人、汽车、公交车、厢式车。各类别分别训练评测，并非统一多类计数模型（第 4.1、4.4 节）。
- 评价：论文报告 MAE、标为 MSE 的误差指标和 WRAE，均越低越好；WRAE 按视频长度加权相对绝对误差，以兼顾不同长度和人数的视频。与多目标跟踪对比时，将整段视频的 ID 数作为预测总数。
主要对比
| 数据集 | 方法 | MAE ↓ | MSE（论文列名）↓ | WRAE（%）↓ |
|---|---|---|---|---|
| SenseCrowd | DRNet | 12.3 | 24.7 | 12.7 |
| SenseCrowd | CGNet | 8.86 | 17.69 | 12.6 |
| CroHD | DRNet | 141.1 | 192.3 | 27.4 |
| CroHD | CGNet | 75.0 | 95.1 | 14.5 |
| UAVVIC | DRNet | 18.4 | 41.0 | 15.2 |
| UAVVIC | CGNet | 12.9 | 37.4 | 12.0 |
SenseCrowd、CroHD 的 MAE 相对 DRNet 下降约 28% 和 47%；UAVVIC 四类汇总 MAE 下降约 30%。但 UAVVIC 没有轨迹标注，因此对照方法在 VisDrone 上训练，CGNet 则利用 UAVVIC 的弱标注，存在训练域和数据来源差异，不能将该提升完全归因于监督形式（表 2–4、第 4.4 节）。
消融与标注成本
- 去掉
S1/S2负样本约束，MAE 从完整模型的 8.86 升至 13.35；以普通 L1 替代 hinge 项为 9.84，说明不匹配组和软间隔均有贡献。 - 去掉 MCP，MAE 为 10.71、WRAE 为 16.9%；完整模型分别为 8.86、12.6%，且视频越长，记忆带来的误差改善越明显，但极高密度下更多模板也可能增加混淆（表 5、图 5）。
- 对五组不同密度帧对，进出标注用时约为身份关联标注的 30%。例如 116/115 人的帧对为 53.7 秒对 174.4 秒，289/292 人为 95.0 秒对 586.9 秒。这是选定帧对的关联标注成本对比，不等于完整数据采集与位置标注总成本（表 9）。
- CGNet 还可输出伪轨迹训练现有方法；DRNet 使用其伪轨迹时 MAE 为 14.5，使用真实轨迹时为 12.3，说明较弱标注能生成有用关联，但与真实轨迹仍有差距（表 8）。
局限与批判性阅读
正文没有独立的局限章节。作者在消融中指出：密集场景候选过多会增加匹配混淆；记忆生命周期过长会保存无关模板；采样间隔太大可能遗漏短时出现的人。CroHD15 的固定点裁剪也难覆盖合适目标尺度（第 4.4–4.5 节）。
以下为进一步分析：弱监督仍依赖个体位置、进入/离开判断，严重遮挡下人工标注并不容易；生命周期到期后重新出现的个体可能被当作新增，因而长时间、跨区域唯一身份计数的保证未明确说明。模型上游的漏检和外观特征质量也会直接影响最终总数。
复现还需核对报告口径：表 7 的默认 FIDT 配置 WRAE 为 9.27，与表 2/5 的 12.6 不一致，正文未明确解释；表 6 的 4 秒间隔有最低 MAE，但默认 3 秒有最低 WRAE，因此“最佳间隔”取决于指标。公式 7 对多模板距离使用最大值，代码中的聚合与阈值应另行核验，不能自行改成常见的最小距离匹配。
与已有笔记的联系
与 ATBA 相似，CGNet 先重新审视任务需要哪些监督，再设计中间匹配；前者以少量动作边界替代逐帧对齐，后者以共有/进出组替代真实身份对应。与 HUMEMBR 的跨天身份记忆不同，MCP 是服务于计数的近期外观缓存，不负责人物语义、作息或语言查询。
术语与关键证据
- VIC / WVIC：视频不同个体总数统计及其无身份轨迹标注版本，区别于逐帧人群计数。
- 组级匹配：知道两帧共有集合，但不监督集合内部每对真实身份；见图 1–2、公式 3–6。
- MCP：依靠近期多模板与生命周期更新进行新增判断的计数器；见第 3.2 节。
- 关键证据：表 2–4 比较总数误差；表 5、图 5 分析组件与记忆；表 9 对照人工关联标注时间。