Skip to content

VLA 策略 / Vision-Language-Action Policy

English contract

  • Objective: learn image/language/state-to-action mappings and verify language use through closed-loop evaluation and controlled ablations.
  • Inputs: synchronized images, instructions, robot state, actions, control rate, episode boundaries, and success labels.
  • Stages: schema → dataset → representation → behavioral cloning/sequence training → closed loop → language ablation.
  • Acceptance: tiny-set overfit first; then report closed-loop success, latency, episode count, confidence, and correct/swapped/absent-language gaps. Offline loss alone is insufficient.
  • Evidence: the included PushCube model is a teaching baseline, not evidence of production-scale VLA performance. Apply the validation policy.

Canonical course: VLA Zero to One · VLA 从零到一. The specialization explains regression, chunking, discrete tokens, diffusion, flow matching, fine-tuning, selection criteria, and controlled ablations; this page remains the executable teaching contract.

目标与边界

学习从视觉、语言和机器人状态到动作或动作块的映射，并用闭环任务表现验证语言是否真正影响行为。本地示例是教学型 PushCube 基线，不代表大规模预训练 VLA 的性能。

前置知识与输入

Vision · Language · State → Action

VLA 的关键不是“拼接三种输入”，而是让动作、控制频率与闭环反馈保持同一契约。

01 · CONTEXT图像 · 指令 · 状态对齐时间戳、shape、mask 与 episode 边界
02 · POLICY多模态表征encoder · fusion · action / action chunk
03 · EXECUTE限幅与闭环执行频率、延迟、安全过滤与下一帧观测

原理图 · Fuse context, then act in a closed loop：VLA 的输出不只是一个标签；模型将图像、语言和本体状态编码为同一上下文，预测动作或动作块。执行端仍必须受频率、限幅和下一帧观测约束。

VLA 多模态融合和动作块的闭环执行Multimodal context → action chunk → re-observe image patchesinstruction tokensrobot state tokens VLA policyattention / fusionconditioned action model action chunkaₜ … aₜ₊ₖrate + boundsexecutesafely new observation changes the next prediction

Pipeline

阶段 关键动作 输出/检查
1. Contract 固定相机、状态、动作与语言 schema batch 形状和 mask
2. Dataset 划分 episode、归一化、增强 数据统计和无泄漏 split
3. Representation 视觉/文本编码，动作连续化或 token 化 编解码往返误差
4. Training BC/序列建模，记录 seed 与 checkpoint loss、梯度、验证集曲线
5. Closed loop 在未见初态运行策略 成功率、时延、安全事件
6. Ablation 正确/交换/置零语言，视觉或状态基线 语言条件差距

运行与产物

python scripts/run_pipeline.py --run vla-policy
python scripts/run_pipeline.py --run vla-policy --full

入口：unified_pushcube_vla.py。产物位于 results/pipelines/vla/，包括策略权重与 vla_results.json。完整训练前先检查 动作表示与 token 化。

验收门槛

  • 先用极小数据过拟合，证明目标、mask 与动作对齐正确。
  • 闭环成功率优先于离线 MSE；同时报告置信区间和 episode 数。
  • 正确语言应优于交换/置零语言，否则不能声称策略使用了语言。
  • 推理时延和动作频率满足部署预算，输出经限幅和安全过滤。

常见失败：图像与动作错一帧、训练/评估归一化不同、动作块执行重叠、只报告最好 seed、语言被模型忽略。

算法选择入口

先用当前任务约束筛选算法族，再把输出当作需要验证的起始假设：

python scripts/select_vla_wam_algorithm.py --goal multimodal-action --compute single-gpu --data multi-task --latency soft

选型器不会替代匹配预算实验。最终选择必须同时比较任务成功率、语言条件差距、延迟、安全事件、种子方差和失败分布。