具身智能 Pipeline 总览¶
这里把仓库中的知识章节整理为端到端工程闭环。每条路线都明确前置知识、输入、阶段、产物、指标与晋级门槛;命令统一登记在可机器校验的 pipelines/manifest.json 中。
快速开始¶
python scripts/run_pipeline.py --list
python scripts/run_pipeline.py --validate
python scripts/run_pipeline.py --show vla-policy
python scripts/run_pipeline.py --run vla-policy --dry-run
python scripts/run_pipeline.py --run vla-policy
先运行 smoke 模式确认接口和数据流,再在算力、数据和记录条件满足后使用 --full。--dry-run 只展示命令,不实际训练。
十条主线¶
| 方向 | 工程闭环 | 当前证据 | 文档 |
|---|---|---|---|
| 仿真与数据 | 任务定义 → 仿真器 → 专家策略 → 轨迹 → 质量检查 | 已有 smoke test | 进入 |
| VLA 策略 | 多模态数据 → 训练 → 闭环评估 → 消融 | 教学基线可 smoke test | 进入 |
| 世界模型 | 转移数据 → 动力学模型 → rollout → 规划 | 模型可 smoke test,规划独立验证 | 进入 |
| RL 后训练 | MDP → 奖励 → PPO → 评估 → 回归检查 | 教学基线可 smoke test | 进入 |
| 机器人基础模型 | 观测协议 → 模型适配 → 动作块 → 安全层 | Mock 接口已验证 | 进入 |
| 具身推理 | 指令 → 任务计划 → 技能 → 反馈 → 重规划 | 规则规划接口已验证 | 进入 |
| Sim-to-Real | 仿真 → 鲁棒性 → HIL → 影子模式 → 受控部署 | 工程门禁已文档化 | 进入 |
| 灵巧手重定向 | 关键点 → 几何 → IK/优化 → 平滑 → 评估 | 合成输入可 smoke test | 进入 |
| 感知与状态估计 | 标定 → 同步 → 融合 → 不确定性 → 验证 | 工程契约已文档化 | 进入 |
| 导航与运动控制 | 状态 → 地图/地形 → 规划 → 控制 → 恢复 | 工程契约已文档化 | 进入 |
English navigation: Pipeline Catalog.
证据标签¶
- smoke-tested:仓库内有轻量可执行路径,可检查基本连通性。
- interface-tested:无需真实权重或硬件即可检查协议、形状和适配器。
- documented:门禁与步骤已明确,但真实系统不能由一条本地命令代替。
- experimental:探索路线,不应直接当作已验证基线。
Smoke test 通过只代表“管线接通”,不代表研究效果达标,更不代表可直接上真机。任何结果都应同时保存配置、随机种子、硬件、权重版本和结果文件。