Foundations Layer: Zero to Hero 基础课程¶
目标:为机械工程背景的学生补齐从"零基础"到"能跑通 VLA / RL / World Model 代码"所需的全部基础知识。不假设读者有 CS 或 ML 背景。
为什么需要这一层?¶
本仓库的主线文档(VLA、World Model、RL、Robot Foundation Models)默认读者已具备一定的 Python、线性代数、深度学习和机器人学基础。但对于机械工程背景的学生,以下跳跃经常出现:
Python → PyTorch → Transformer → VLA
这中间缺少了太多环节。Foundations Layer 就是为了填平这些沟壑。
课程路线图¶
Stage 0: Programming
└─ 01-python-for-robotics ← NumPy 数组、矩阵运算、可视化
↓
Stage 1: Mathematics
└─ 02-linear-algebra ← 向量、矩阵、特征值、概率
↓
Stage 2: Deep Learning
└─ 03-deep-learning-basics ← 神经网络、反向传播、损失函数
└─ 04-transformer-basics ← Attention、Self-Attention、Transformer
↓
Stage 3: Robotics
└─ 05-coordinate-transform ← 坐标系、齐次变换
└─ 06-se3-and-rotation ← SO(3)、SE(3)、旋转表示
└─ 07-fk-jacobian-ik ← 正运动学、Jacobian、逆运动学
└─ 08-control-basics ← PID、阻抗控制、关节伺服
↓
Stage 4: Simulation & Data
└─ 09-mujoco-basics ← MuJoCo 引擎、URDF/MJCF、仿真循环
└─ 10-dataset-and-training ← 数据集格式、训练循环、评估
↓
Stage 5: Reliable Robot Learning
└─ 11-probability-and-optimization ← 概率、统计、优化与不确定性
└─ 12-perception-and-sensors ← 相机、深度、状态、力觉与同步
└─ 13-robot-systems-and-safety ← 控制栈、接口、实时性与安全门禁
└─ 14-evaluation-and-reproducibility ← 指标、基线、复现与证据等级
↓
Stage 6: End-to-End Pipelines (方向主线)
└─ docs/pipelines/README_CN.md → 选择方向 → smoke test → benchmark
课程列表¶
| # | 文档 | 主题 | 预计学习时间 | 前置要求 |
|---|---|---|---|---|
| 01 | 01-python-for-robotics.md |
Python for Robotics | 3–5h | 无 |
| 02 | 02-linear-algebra.md |
Linear Algebra | 4–6h | 01 |
| 03 | 03-deep-learning-basics.md |
Deep Learning Basics | 5–8h | 02 |
| 04 | 04-transformer-basics.md |
Transformer Basics | 3–5h | 03 |
| 05 | 05-coordinate-transform.md |
Coordinate Transform | 3–4h | 02 |
| 06 | 06-se3-and-rotation.md |
SO(3) & SE(3) | 3–5h | 05 |
| 07 | 07-fk-jacobian-ik.md |
FK, Jacobian & IK | 4–6h | 06 |
| 08 | 08-control-basics.md |
Control Basics | 2–4h | 07 |
| 09 | 09-mujoco-basics.md |
MuJoCo Basics | 3–5h | 08 |
| 10 | 10-dataset-and-training.md |
Dataset & Training | 3–5h | 03, 09 |
| 11 | 11-probability-and-optimization.md |
Probability, Statistics & Optimization | 3–4h | 02, 03 |
| 12 | 12-perception-and-sensors.md |
Perception & Sensors | 3–4h | 05, 09 |
| 13 | 13-robot-systems-and-safety.md |
Robot Systems & Safety | 3–4h | 08, 12 |
| 14 | 14-evaluation-and-reproducibility.md |
Evaluation & Reproducibility | 2–3h | 10, 11 |
总学习时间:约 44–68 小时。无需一次学完全部内容;先完成公共基础,再按目标 Pipeline 补对应章节。
学习路径建议¶
路径 A:机械工程背景(推荐)¶
01 Python → 02 线性代数 → 05 坐标变换 → 06 SE(3) → 07 FK/IK → 08 控制
→ 03 深度学习 → 04 Transformer → 09 MuJoCo → 10 数据集
→ 11 概率优化 → 12 感知 → 13 系统安全 → 14 评估复现
→ 选择一条端到端 Pipeline
路径 B:CS / ML 背景¶
01 Python → 05 坐标变换 → 06 SE(3) → 07 FK/IK → 08 控制
→ 09 MuJoCo → 12 感知 → 13 系统安全 → 14 评估复现
→ 选择一条端到端 Pipeline
路径 C:快速入门(已有部分基础)¶
先阅读 14 评估复现 → 运行 `python scripts/run_pipeline.py --list`
→ 按所选方向补前置章节 → 运行 smoke test → 再进入完整训练
与主线文档的衔接¶
完成 Foundations Layer 后,你将能顺利进入以下主线:
| 主线文档 | 需要的 Foundations 知识 |
|---|---|
docs/01-what-is-vla.md |
03 深度学习、04 Transformer |
docs/06-rl-fundamentals-for-vla.md |
02 线性代数、03 深度学习 |
docs/07-world-models-for-vla.md |
03 深度学习、04 Transformer |
docs/13-vla-zero-to-one.md |
01–04 全部 |
docs/23-robot-foundation-models.md |
03、04、10、12、13 |
docs/19-sim-to-real-guide.md |
05–09、12–14 |
docs/pipelines/README_CN.md |
依据十条主线选择对应前置章节 |
学习方法建议¶
- 不要跳过代码:每个文档都包含可运行的 Python 代码片段,请实际运行
- 做练习:每个文档末尾有"检查理解"练习题
- 建立直觉:数学公式旁边都有物理直觉解释
- 连接项目:每个概念都会标注在项目代码中的对应位置
提示:如果你是第一次接触这些内容,建议按照路径 A 的顺序学习。每完成一个文档,回到本路线图确认进度。