VLA 与 WAM 专项学习体系¶

English · 简体中文

本专项面向希望从正确的第一个实现，逐步进入 Vision-Language-Action（VLA）和 World Action Model（WAM）科研工作的读者。学习进度由能力门槛决定，而不是按固定天数承诺。

术语边界：VLA 把视觉、语言和机器人上下文映射为动作；传统世界模型在候选动作条件下预测后果；在近期机器人研究的较窄用法中，WAM 会联合或对齐建模未来世界状态（通常是视频）与动作。带独立规划器的 action-conditioned world model 是重要基线，但不会因此自动成为 WAM。

先选对起点¶

你的真实问题	推荐起点	不应直接选择
单一固定任务、示范有限	分块行为克隆或 ACT	仅因为可以加入语言就使用大 VLA
多个语言条件任务	连续动作分块 VLA 基线	没有语言消融就声称模型使用了语言
同一上下文存在多种有效动作	Diffusion 或 Flow Matching 动作模型	不检查均值化问题的普通 MSE
对候选动作进行反事实规划	潜空间世界模型 + MPC	没有模型/规划基线就使用 WAM 名称
联合研究未来视频与动作	小型联合模型，再考虑扩展 WAM	把百亿参数视频主干作为第一个实现
紧密接触或亚厘米级精度	任务策略 + 状态/力反馈 + 安全控制	把视觉上合理当成控制精度证据

可以使用可解释选型器获得起始候选：

python scripts/select_vla_wam_algorithm.py \
  --goal language-generalization \
  --compute single-gpu \
  --data multi-task \
  --latency hard

机器可读事实源是 learning_tracks/vla_wam_algorithms.json。输出只是实验起点建议，不是排行榜结论或真机部署许可。

前置能力门槛¶

门槛	必须能完成	需要保留的证据
G0 · 实验合同	固定代码、环境、种子、数据身份和输出路径	可复现回执
G1 · 机器人语义	标注坐标系、单位、动作含义、频率、边界和终止条件	接口表与往返检查
G2 · 数据完整性	同步观测和动作，按 episode 划分，检查覆盖与泄漏	数据卡和划分清单
G3 · 策略基线	先过拟合极小数据，再评估简单闭环策略	曲线、权重、任务指标和失败记录
G4 · 预测基线	测量单步误差与按 horizon 分解的 rollout 误差	Rollout 审计和规划器对比
G5 · 泛化证据	冻结分布偏移、预算、基线和不确定性报告规则	可复现对比和继续/停止决定

缺失的前置知识通过知识体系补齐。最低要求包括 Python/张量、概率与优化、坐标系与运动学、控制、传感器、Transformer、episode schema 和评估方法。

两条主线¶

VLA 从零到一 ¶

依次掌握观测合同、多模态编码、融合、动作表示、行为克隆、离散动作 token、连续动作分块、扩散、流匹配、微调、滚动时域执行、语言消融和算法选型。

毕业产物：一个闭环语言条件策略，以及匹配预算的无语言基线、正确/交换/缺失语言消融、延迟、任务指标和失败分类。

WAM 从零到一 ¶

依次掌握世界模型基线、未来表示、正向/逆向动力学、视频—动作联合建模、自回归与流式目标、动作—视频对齐、闭环推理和 WAM 选型，并明确“视频合理”不等于“动作可控”。

毕业产物：在相同数据和评估合同下，对比策略基线、世界模型+规划器基线和小型联合世界—动作模型。

“已经熟悉该方向”的标准¶

准备进入科研工作时，你应当能够：

推导并实现主要动作生成目标，而不只是调用 checkpoint；
解释任务为什么需要或不需要语言、多模态动作、未来视频生成；
判断失败来自数据、表示、优化、动力学、规划、控制还是评估；
选择匹配预算的基线，而不是比较不可比的论文 headline；
区分离线 Loss、预测质量、闭环成功、泛化与真机证据；
明确什么实验结果会否定自己偏好的 VLA 或 WAM 假设。

一手资料阅读顺序¶

用途	一手来源
规模化机器人 Transformer 前驱	RT-1
VLA 问题定义	RT-2
开源离散动作 VLA	OpenVLA
连续并行动作微调	OpenVLA-OFT
Flow Matching 通用策略	π0
紧凑 VLA 实现	SmolVLA与官方 LeRobot 指南
潜空间模型控制基线	TD-MPC2
动作条件预测规划	V-JEPA 2
自回归图像—动作模型	WorldVLA
视频—动作 WAM	DreamZero

证据边界¶

论文状态和报告结果以链接中的一手来源为准。本仓库用这些资料解释算法，不声称复现其大规模训练或真机结果。