Skip to content

统一评估:如何证明真正掌握

English · 简体中文

本规范把“学习过”与“能够独立完成”分开。模块通过只代表学习者在声明环境和任务边界内提交了可复核证据,不代表通用专家认证、SOTA 结果或真机安全许可。

模块评分(100 分)

维度 分值 通过证据
概念与数学正确性 20 能解释假设、公式、单位、坐标系和适用边界
独立实现与修改 20 不是只复制输出;能够实现关键部分并预测改动影响
可执行验证 20 产物能够运行或被检查,正常与失败案例都有结果
可复现性 15 命令、环境、提交、配置、随机种子和数据身份完整
故障诊断 10 能把失败定位到阶段,并用证据排除至少一个错误假设
证据与结论边界 10 原始结果、负结果和不确定性被保留;结论不越级
安全与运行边界 5 动作、限位、停止、授权和风险与任务相称

模块通过线为 80/100,并且不能出现下列关键失败。低分项需要明确返工,不用额外加分抵消。

关键失败:出现任意一项即不通过

  • 没有原始证据,只有截图式结论或手工填写的成功数字。
  • 评审者无法按记录复现关键结果,且失败原因没有被说明。
  • 把导入、Smoke、固定场景或离线 Loss 描述成泛化、真机或部署成功。
  • 训练/验证/测试泄漏,或评测过程使用了禁止的特权状态。
  • 比较方法的数据、训练、评测或执行预算不匹配,却声称算法优越。
  • 删除负结果、改变协议后只报告有利结果,或在看到测试结果后重定义成功。
  • 涉及真机时没有明确授权、停止路径、命令边界和现场风险评审。

证据包最小结构

每个通过的模块至少保留:

evidence/Mxx/
├── experiment-card.md
├── environment.txt
├── config.json
├── commands.txt
├── metrics.json
├── failures.md
└── artifacts/          # 曲线、轨迹、视频、检查点或数据报告

并非每个项目都必须使用这些文件名,但同等信息必须可追溯。使用实验卡和失败报告可减少遗漏。

评审流程

  1. 学习者先做自评,逐项链接原始证据。
  2. 评审者从记录中随机选择一个命令和一个失败案例复核。
  3. 评审者检查数据身份、评测协议和结论边界。
  4. 评审结果只能是 passed、revision_required 或 blocked。
  5. passed 后在进度 JSON 中填写证据路径、评审者和日期。

评审者不应只看最好的 Episode。应检查汇总指标、分阶段错误、至少一个代表性失败和结果不确定性。

六级晋级规则

等级 进入下一等级前必须通过
L0 M00
L1 M01、M02,且推导与数值检查一致
L2 M03、M04 和 C0;闭环有安全停止与故障诊断
L3 M05–M08 中目标路线要求的模块;数据、基线和闭环评估成立
L4 M09、M10 中目标路线要求的模块;一类任务形成端到端责任链
L5 M11 和目标 Capstone;结论通过独立评审

时间投入不能替代门禁。没有通过时应保留状态为 in_progress 或 blocked,并写清下一项能够改变结论的实验。

专项必须增加的反事实检查

  • VLA:正确、交换、缺失语言;视觉遮挡/扰动;未见初始状态;动作或 Chunk 接口检查。
  • 世界模型/WAM:Action Swap、No-action、不同 Horizon;使用/不使用 Lookahead;规划动作是否真的改变。
  • 灵巧操作:几何、碰撞、接触建立、抬升、保持、滑移和恢复分开计分。
  • 导航/运动控制:目标完成、碰撞/跌倒、扰动、恢复、重规划和停止分开计分。
  • Sim-to-Real:系统辨识、延迟、传感器偏移、HIL、影子模式和真机授权分级。

进度记录不是证书

python scripts/run_curriculum.py --report-progress learner/progress.json --lang zh

这个检查只验证记录结构、证据路径和晋级依赖。它不会判断论文是否正确、模型是否优秀,也不会授予真机运行权限。最终能力仍需由人类评审者检查原始产物。