多模态感知与状态估计 / Multimodal Perception and State Estimation

English contract

• Objective: convert calibrated, timestamped sensor streams into a task-relevant state estimate with uncertainty and health signals.
• Inputs: camera, depth, proprioception, force/tactile, IMU or odometry streams; intrinsics, extrinsics, frame conventions, timestamps, and ground truth where available.
• Stages: sensor health → calibration → synchronization → preprocessing → representation → fusion/state estimation → uncertainty → task interface → validation.
• Acceptance: report calibration error, inter-sensor skew, missing/stale data, estimation error, uncertainty calibration, latency, and behavior under sensor dropout.
• Evidence: this repository documents the engineering contract and related schemas. It does not yet claim a reproduced perception or state-estimation benchmark.

目标与边界

将多源传感器数据变成带时间戳、坐标系、置信度和健康状态的任务级观测。目标不是“模型能输出一个框”，而是下游策略能够判断这份状态是否足够新、足够准、可以安全使用。

当前状态为 documented：已有相机几何、观测协议和安全章节，但没有统一数据集上的感知/状态估计 benchmark，也没有可代表真实传感器栈的一键 smoke command。

前置知识与输入

• 坐标变换、感知与传感器
• 机器人系统与安全、评估与复现
• 输入：传感器消息、时间戳、内外参、frame tree、单位约定、期望输出 schema、可选真值和故障注入配置。

Pipeline

阶段	关键动作	产物 / 门禁
1. Sensor health	检查频率、时间戳、范围、饱和与丢包	每传感器健康报告
2. Calibration	求相机内参、传感器外参和坐标系链	标定文件与重投影/对齐误差
3. Synchronization	按消息时间而非到达时间对齐	skew、drop 与 stale 统计
4. Preprocessing	去畸变、滤波、归一化和无效值处理	可复现预处理配置
5. Representation	形成 image/depth/point/state/contact token	显式 shape、dtype、frame、unit
6. Fusion / estimation	融合观测并估计 pose、velocity、object/contact state	状态与 covariance / confidence
7. Task interface	转成策略或规划器需要的 canonical observation	schema 与 freshness 检查
8. Validation	留出场景、遮挡、延迟和传感器失效测试	误差、延迟、置信度与失败报告

验收门槛

• 内参/外参和坐标系约定必须版本化；frame 与单位不能靠变量名猜测。
• 同步窗口、队列长度和丢弃策略必须记录；“大致同时到达”不能替代时间戳检查。
• 误差按传感器、场景和状态变量分别报告，同时保留均值、分位数和最坏情况。
• 置信度或 covariance 必须接受校准检查；低置信度要触发降级、保持或停止策略。
• 通过离线感知指标不等于闭环任务成功，二者必须分别验证。

主要失败模式

内外参漂移、frame 方向错误、消息时间与到达时间混用、训练/测试预处理不一致、遮挡后沿用陈旧状态、融合器过度自信、只报告检测精度而不报告闭环延迟。

权威入口：OpenCV Camera Calibration · ROS 2 message_filters · robot_localization