最近,国家与地方中心联合推出了全球首个、也是目前最大、最完整的横体视觉-触觉多模态机器人作数据集:白湖-VTouch。该数据集的发布标志着机器人视觉-触觉感知从单一模态向真实横体交互的突破。
百湖-VTouch开创了横体视觉-触觉多模态真实交互数据采集的新范式。它不仅包含高精度的视觉-触觉传感器数据,还整合了RGB-D深视和关节姿态等关键信息。数据集总时长超过6万分钟。为确保通用性,数据收集涵盖多种配置,包括全尺寸人形机器人(青龙)、类人轮式机器人和手持智能终端。
在细节呈现方面,该数据集采用高性能传感器,支持640×480分辨率和120Hz刷新率,能够准确捕捉物体接触时的细微变化。目前,该数据集累计约9072万对真实物体接触样本,聚焦于家庭、餐饮、工业和特种作战四大场景中260多项接触密集型任务。
研究表明,引入视觉-触觉感知后,近70%的任务实现了更连续的接触状态描述。这将为机器人的精细作、精准力控制和任务失败后的自我恢复提供关键的基础数据支持。