← 合作研究
FMCW 激光雷达辅助双臂装配
基于 GR00T 的孔轴装配研究:测试 FMCW 激光雷达的距离、径向速度和时间信息,能否提升视觉-语言-动作模型的精密插装表现。
征集合作方
寻找:VLA 模型微调团队(高校课题组或企业研究团队)
我们在找什么样的团队
有具身智能 VLA(视觉-语言-动作)模型微调经验的高校课题组或企业研究团队。合作方式可以面谈。
项目状态
这是一个拟议中的研究项目。目前还没有完成的模型训练或机器人测试结果。下文中的性能数值都是目标值或公开参考值。
研究问题
项目要测试:当 FMCW 激光雷达为预训练的 VLA 模型提供输入时,双臂孔轴装配的表现是否提升。三个问题:
| 输入 | 要验证的收益 |
|---|---|
| 距离 | 双目深度不可靠时,稀疏的距离测量能否改善对位? |
| 径向速度 | 直接测得的速度能否减少接近过程中的延迟、超调或接触力? |
| 时间历史 | 独立的时间戳和运动校正,能否在不引入过多运动模糊的情况下提高覆盖? |
径向速度只反映沿激光视线方向的运动,不是完整的三维速度。横向运动的径向速度可能接近零。名义 2 mm 的测距指标也不等于亚毫米级的装配精度,孔内阶段仍然需要力反馈。
任务与计划配置
两台固定基座的机械臂抓取零件,移到共同视野中。左臂持孔件,右臂对位并在力控下插入轴件。
| 组件 | 计划配置 |
|---|---|
| 机械臂 | 两台宇树 Unitree R1-7a,各七轴,带夹爪 |
| 相机 | 奥比中光 Orbbec Gemini 335,对比被动双目与主动双目 |
| FMCW 激光雷达 | 全视场 100,000 点/秒,非重复李萨如扫描,40° × 40° 视场 |
| 接触与示教 | 两个腕部六维力传感器(待安装),PICO 4 Ultra 手柄示教 |
模型方案
主模型为 GR00T N1.7-3B。冻结视觉-语言主干,训练完整的动作头,新增传感器模块的参数预算合计 3,000 万。相机和激光雷达特征通过门控交叉注意力进入动作专家。一个策略同时控制两条手臂。
实验与目标
- 对照组:仅 RGB、被动双目、主动双目、FMCW 距离、FMCW 完整输入(含径向速度),以及传统几何方法。
- 主任务:轴径 10 mm,插入深度 20 mm,直径间隙 0.5 mm。0.2 mm 间隙用于测试能力上限。
- 研究目标:主任务首次插入成功率不低于 90%。这是目标,不是实测结果。
- 规模:核心计划包含 3,900 次机器人试验。人工示教约 1,720 条有效轨迹。
完整的数据计划、训练方案和评估指标见项目说明 PDF(英文)。