统一评估:如何证明真正掌握¶
English · 简体中文
本规范把“学习过”与“能够独立完成”分开。模块通过只代表学习者在声明环境和任务边界内提交了可复核证据,不代表通用专家认证、SOTA 结果或真机安全许可。
模块评分(100 分)¶
| 维度 | 分值 | 通过证据 |
|---|---|---|
| 概念与数学正确性 | 20 | 能解释假设、公式、单位、坐标系和适用边界 |
| 独立实现与修改 | 20 | 不是只复制输出;能够实现关键部分并预测改动影响 |
| 可执行验证 | 20 | 产物能够运行或被检查,正常与失败案例都有结果 |
| 可复现性 | 15 | 命令、环境、提交、配置、随机种子和数据身份完整 |
| 故障诊断 | 10 | 能把失败定位到阶段,并用证据排除至少一个错误假设 |
| 证据与结论边界 | 10 | 原始结果、负结果和不确定性被保留;结论不越级 |
| 安全与运行边界 | 5 | 动作、限位、停止、授权和风险与任务相称 |
模块通过线为 80/100,并且不能出现下列关键失败。低分项需要明确返工,不用额外加分抵消。
关键失败:出现任意一项即不通过¶
- 没有原始证据,只有截图式结论或手工填写的成功数字。
- 评审者无法按记录复现关键结果,且失败原因没有被说明。
- 把导入、Smoke、固定场景或离线 Loss 描述成泛化、真机或部署成功。
- 训练/验证/测试泄漏,或评测过程使用了禁止的特权状态。
- 比较方法的数据、训练、评测或执行预算不匹配,却声称算法优越。
- 删除负结果、改变协议后只报告有利结果,或在看到测试结果后重定义成功。
- 涉及真机时没有明确授权、停止路径、命令边界和现场风险评审。
证据包最小结构¶
每个通过的模块至少保留:
evidence/Mxx/
├── experiment-card.md
├── environment.txt
├── config.json
├── commands.txt
├── metrics.json
├── failures.md
└── artifacts/ # 曲线、轨迹、视频、检查点或数据报告
并非每个项目都必须使用这些文件名,但同等信息必须可追溯。使用实验卡和失败报告可减少遗漏。
评审流程¶
- 学习者先做自评,逐项链接原始证据。
- 评审者从记录中随机选择一个命令和一个失败案例复核。
- 评审者检查数据身份、评测协议和结论边界。
- 评审结果只能是
passed、revision_required或blocked。 passed后在进度 JSON 中填写证据路径、评审者和日期。
评审者不应只看最好的 Episode。应检查汇总指标、分阶段错误、至少一个代表性失败和结果不确定性。
六级晋级规则¶
| 等级 | 进入下一等级前必须通过 |
|---|---|
| L0 | M00 |
| L1 | M01、M02,且推导与数值检查一致 |
| L2 | M03、M04 和 C0;闭环有安全停止与故障诊断 |
| L3 | M05–M08 中目标路线要求的模块;数据、基线和闭环评估成立 |
| L4 | M09、M10 中目标路线要求的模块;一类任务形成端到端责任链 |
| L5 | M11 和目标 Capstone;结论通过独立评审 |
时间投入不能替代门禁。没有通过时应保留状态为 in_progress 或 blocked,并写清下一项能够改变结论的实验。
专项必须增加的反事实检查¶
- VLA:正确、交换、缺失语言;视觉遮挡/扰动;未见初始状态;动作或 Chunk 接口检查。
- 世界模型/WAM:Action Swap、No-action、不同 Horizon;使用/不使用 Lookahead;规划动作是否真的改变。
- 灵巧操作:几何、碰撞、接触建立、抬升、保持、滑移和恢复分开计分。
- 导航/运动控制:目标完成、碰撞/跌倒、扰动、恢复、重规划和停止分开计分。
- Sim-to-Real:系统辨识、延迟、传感器偏移、HIL、影子模式和真机授权分级。
进度记录不是证书¶
python scripts/run_curriculum.py --report-progress learner/progress.json --lang zh
这个检查只验证记录结构、证据路径和晋级依赖。它不会判断论文是否正确、模型是否优秀,也不会授予真机运行权限。最终能力仍需由人类评审者检查原始产物。