合作方要求
有具身智能 VLA(视觉-语言-动作)模型微调经验的高校课题组或企业研究团队。合作方式可面谈商定。
项目状态
本项目为拟议中的研究项目,目前尚无已完成的模型训练或机器人测试结果。下文中的性能数值都是目标值或公开参考值。
研究问题
本项目测试 FMCW 激光雷达为预训练的 VLA 模型提供输入后,双臂孔轴装配的表现是否提升。具体分为以下三个问题。
| 输入 | 要验证的收益 |
|---|---|
| 距离 | 双目深度不可靠时,稀疏的距离测量能否改善对位? |
| 径向速度 | 直接测得的速度能否减少接近过程中的延迟、超调或接触力? |
| 时间历史 | 独立的时间戳和运动校正,能否在不引入过多运动模糊的情况下提高覆盖? |
径向速度只反映沿激光视线方向的运动,并非完整的三维速度。横向运动的径向速度可能接近零。名义 2 mm 的测距指标也不代表亚毫米级的装配精度,孔内阶段仍需力反馈。
任务与计划配置
两台固定基座的机械臂抓取零件,并移至共同视野中。左臂持孔件,右臂对位并在力控下插入轴件。
| 组件 | 计划配置 |
|---|---|
| 机械臂 | 两台宇树 Unitree R1-7a,各七轴,带夹爪 |
| 相机 | 奥比中光 Orbbec Gemini 335,对比被动双目与主动双目 |
| FMCW 激光雷达 | 全视场 100,000 点/秒,非重复李萨如扫描,40° × 40° 视场 |
| 接触与示教 | 两个腕部六维力传感器(待安装),PICO 4 Ultra 手柄示教 |
模型方案
主模型为 GR00T N1.7-3B。冻结视觉-语言主干,训练完整的动作头,新增传感器模块的参数预算合计 3,000 万。相机和激光雷达特征通过门控交叉注意力进入动作专家。由同一个策略同时控制两条机械臂。
实验与目标
- 对照组:仅 RGB、被动双目、主动双目、FMCW 距离、FMCW 完整输入(含径向速度),以及传统几何方法。
- 主任务:轴径 10 mm,插入深度 20 mm,直径间隙 0.5 mm。0.2 mm 间隙用于测试能力上限。
- 研究目标:主任务首次插入成功率不低于 90%。该数值为目标值,并非实测结果。
- 规模:核心计划包含 3,900 次机器人试验。人工示教约 1,720 条有效轨迹。
完整的数据计划、训练方案和评估指标见项目说明 PDF(英文)。
参与本项目
请发邮件介绍您的团队和相关经验。我们会回复,并约时间讨论合作方式。