一对孪生的三指九自由度灵巧操作手。

今天,自变量发布 TwinDEX——一对孪生的三指九自由度灵巧操作手:一个可穿戴,用于数据采集;一个装在机器人上,用于真机部署。这首次实现了纯无本体数据、零真机遥操作数据驱动的灵巧操作。


TwinDEX 由一套可穿戴的无本体数据采集系统和一套与之匹配的机器人末端执行器组成,让基础模型仅用数百条无本体数据进行后训练,全程不引入真机遥操作数据,就能学会操纵三指灵巧手完成复杂任务。


评测显示,TwinDEX 的无本体数据采集效率达到真机遥操作的 5.3 倍;训练模型时无本体数据近乎可 100% 完全替代真机遥操作数据。


这重塑了具身智能行业对“数据金字塔”的认知:过去,真机遥操作数据因包含丰富的物理交互信息,被视为最有价值、也最难规模化的数据。TwinDEX 则创新性地通过保持采集端与执行端的一致性,并结合完备的数据处理管线和模型训练流程,让无本体数据也能达到媲美真机数据的训练效果。


这意味着,灵巧操作训练不再完全受制于高成本真机数据,规模化采集无本体数据、推动机器人能力提升,找到了新的可行路径。


仅数百条数据学会化学实验无本体数据“大显神威”


TwinDEX 展示了一项完整的化学实验 demo:从开瓶取样、滴管与试管操作,到玻璃棒引流、摇匀观察,全程由策略自主执行,一镜到底。整个实验包含24个子动作,跨越三种工具、多次双手协调与工具切换,每一步都要求毫米级定位与稳定力控。


实验过程中,机器人首先双手协同旋开试剂瓶,依靠指端侧摆而非手腕旋转完成旋拧;随后抓取细柄药勺,在狭小瓶口内完成取样并将固体转移至烧杯。面对细小的弹性滴管,机器人需要用三指精确包络,完成吸液、挤压和滴液;在玻璃棒引流环节,则要一手稳定玻璃棒,另一手沿棒面缓慢倒液,同时维持两个接触约束,最后完成摇匀观察。


从旋拧、取样到滴液、引流,整套任务涵盖精细物体操作、复杂工具切换、双手协调以及接触力控制,对机器人灵巧操作能力提出了较高要求。


更重要的是,这套策略 100% 由无本体数据训练:TwinDEX 仅使用数百条数据,全程未引入任何真机遥操作数据,训练完成后即可直接应用到机器人,自主完成整个实验。以更少的数据、更低的采集成本,实现复杂任务,验证了无本体数据用于灵巧操作训练的巨大潜力。


反向设计破解灵巧操作难题三指也能胜任复杂操作


要让灵巧操作真正走向规模化,既需要手的灵巧设计,也要让无本体数据能够高效训练模型,并让数据采集能够规模化拓展。围绕这三个目标,TwinDEX 从灵巧性、一致性和可规模化三个方面进行设计。


灵巧性方面,TwinDEX 采用三指九自由度、其中七个为主动自由度的设计,在灵巧性、可靠性和成本之间取得平衡。基于覆盖多种元操作的测试,自变量发现,三指通过拇指、食指和中指的协同配合,能够完成生活场景中的大多数操作,是灵巧操作的“最小可行性解”。配合足够好的基础模型,足以胜任各种复杂操作。



一致性是无本体数据可以直接用于机器人策略学习的关键。跨本体数据采集往往存在采集端与执行端之间的运动学差异和精度损失,数据难以直接迁移,需要用真机数据进行对齐或微调。TwinDEX 则以“纯无本体数据训练”为目标,以最终应用性能为锚点,反向设计采集端需要达到的一致性指标。


具体来说:在运动学上保持自由度、关节轴和连杆比例一致;在接触力学上保持接触材料、几何和表面特性一致,并配置对应触觉传感器;在视觉上保持外观一致;同时针对关节、手腕定位、抖动和漂移等关键精度指标进行优化。在此基础上,自变量还通过模型与训练策略的针对性设计,进一步提升策略对可接受误差的容忍度,降低采集端与部署端残余差异对任务性能的影响。


可规模化方面,TwinDEX 采用可穿戴三指外骨骼作为采集端,将数据采集从机器人本体和固定环境中解放出来。“一名操作员、一张桌子、一套外骨骼,就是一个完整的数据采集单元。”外骨骼提供直观的力反馈,帮助操作员完成自然、精细的接触操作;模块化的采集方式则支持通过增加设备和操作员实现并行扩展,让数据规模不再受机器人数量和固定设施限制。


数采效率提升5.3倍无本体数据可完全替代真机


过去,无本体数据通常需要与真机数据结合,以弥补真实物理信息的缺失;如今,行业开始探索让无本体数据直接用于策略训练和机器人执行。TwinDEX 同时提升了无本体数据的采集效率和利用效率。


在数据采集方面,真机遥操作受机器人数量、场地和设备使用时间限制,数据规模难以快速扩展;TwinDEX 则可以通过增加可穿戴采集设备和操作员,实现数据并行采集。在相关任务中,TwinDEX 的每小时数据采集效率达到真机遥操作的5.3 倍。



在数据利用方面,自变量发现,在多任务基准上,两类数据训练出的策略性能,均随数据量增长以相同速率提升并最终收敛,意味着无本体数据在训练效果上几乎可以 100% 替代真机遥操作数据。换言之,真机遥操作数据不再是训练灵巧操作的必需条件,更易采集的无本体数据也能实现相当的训练效果,为灵巧操作的数据规模化提供了新的路径。



打破灵巧操作“不可能三角”让智能涌现触手可及


灵巧操作的数据问题,长期存在一个“不可能三角”:数据质量、灵巧性和可规模化难以兼得。高精度遥操作数据质量高、灵巧性强,但采集成本高;低成本采集易于规模化,却往往难以兼顾数据质量;高灵巧性的五指系统虽然操作上限更高,但硬件成本也相应上升,难以实现规模化采集。


TwinDEX 在全球范围内首次实现了三者的结合:通过让采集端与执行端在运动学、接触力学和视觉外观上高度一致,在保证数据质量的同时实现灵巧操作,并将数据采集效率提升至真机遥操作的5倍以上。


这意味着,无本体数据已经能够替代真机数据,用于训练具有挑战性的灵巧操作。下一步,自变量将进一步扩展数据规模,从单一桌面走向开放环境,从固定场景走向长尾分布,为机器人模型训练提供更加丰富、多样的数据来源。TwinDEX 的可穿戴、无本体、分布式采集架构,正是为下一规模化阶段构建的基础设施。


自变量相信,当无本体数据能够以更低成本持续规模化生产,并不断转化为机器人的操作能力,灵巧操作的数据规模跨越临界点,涌现出更高层次的智能也将真正变得触手可及。