跳转到主要内容

FMCW 激光雷达辅助双臂装配

基于 GR00T 的孔轴装配研究:测试 FMCW 激光雷达的距离、径向速度和时间信息,能否提升视觉-语言-动作模型的精密插装表现。

征集合作方 寻找:VLA 模型微调团队(高校课题组或企业研究团队)

合作方要求

有具身智能 VLA(视觉-语言-动作)模型微调经验的高校课题组或企业研究团队。合作方式可面谈商定。

项目状态

本项目为拟议中的研究项目,目前尚无已完成的模型训练或机器人测试结果。下文中的性能数值都是目标值或公开参考值。

研究问题

本项目测试 FMCW 激光雷达为预训练的 VLA 模型提供输入后,双臂孔轴装配的表现是否提升。具体分为以下三个问题。

输入要验证的收益
距离双目深度不可靠时,稀疏的距离测量能否改善对位?
径向速度直接测得的速度能否减少接近过程中的延迟、超调或接触力?
时间历史独立的时间戳和运动校正,能否在不引入过多运动模糊的情况下提高覆盖?

径向速度只反映沿激光视线方向的运动,并非完整的三维速度。横向运动的径向速度可能接近零。名义 2 mm 的测距指标也不代表亚毫米级的装配精度,孔内阶段仍需力反馈。

任务与计划配置

两台固定基座的机械臂抓取零件,并移至共同视野中。左臂持孔件,右臂对位并在力控下插入轴件。

组件计划配置
机械臂两台宇树 Unitree R1-7a,各七轴,带夹爪
相机奥比中光 Orbbec Gemini 335,对比被动双目与主动双目
FMCW 激光雷达全视场 100,000 点/秒,非重复李萨如扫描,40° × 40° 视场
接触与示教两个腕部六维力传感器(待安装),PICO 4 Ultra 手柄示教

模型方案

主模型为 GR00T N1.7-3B。冻结视觉-语言主干,训练完整的动作头,新增传感器模块的参数预算合计 3,000 万。相机和激光雷达特征通过门控交叉注意力进入动作专家。由同一个策略同时控制两条机械臂。

实验与目标

  • 对照组:仅 RGB、被动双目、主动双目、FMCW 距离、FMCW 完整输入(含径向速度),以及传统几何方法。
  • 主任务:轴径 10 mm,插入深度 20 mm,直径间隙 0.5 mm。0.2 mm 间隙用于测试能力上限。
  • 研究目标:主任务首次插入成功率不低于 90%。该数值为目标值,并非实测结果。
  • 规模:核心计划包含 3,900 次机器人试验。人工示教约 1,720 条有效轨迹。

完整的数据计划、训练方案和评估指标见项目说明 PDF(英文)。

参与本项目

请发邮件介绍您的团队和相关经验。我们会回复,并约时间讨论合作方式。