近日，历时2个月的CVPR 2024具身智能研讨会视触觉操作技能挑战赛ManiSkill-ViTac落下帷幕，72779太阳集团游戏高放教授带领的ILLUSION团队在本次挑战赛中荣获冠军。

本次获奖的ILLUSION团队由蔡运翔、李雪涛、麻胜恒、郑海强四位成员组成。5月17日，该团队将以比赛冠军身份参加ICRA2024第五届ViTac国际研讨会（Robot Embodiment through Visuo-Tactile Perception），72779太阳集团游戏控制工程专业2022级研究生蔡运翔将作为团队代表在会上做学术报告。

获奖证书

据了解，本次Maniskill-ViTac挑战赛由清华大学、美国加州大学圣地亚哥分校以及伦敦国王学院联合举办。ManiSkill系列挑战赛致力于让机器人学习到可泛化的物体操作技巧，旨在训练出像人类一样能与3D世界互动的具身智能机器人。与历届ManiSkill赛事不同，本次ManiSkill-ViTac挑战赛提供了通用触觉传感器的物理仿真平台和搭建了现实触觉传感器机器人评估平台。作为视觉触觉领域的首个公开赛事，本次比赛提出插销(peginteration)和开锁(lock opening)的任务训练及评估，旨在推动基于视觉触觉的操作技能学习在具身智能和机器人应用中的突破。

基于视觉触觉传感器的插销任务的仿真与实验

ILLUSION团队针对初期模型训练低下的问题，从基线收集演示数据，基于成功率、完成步数和抖动情况三个指标筛选出专家数据，采用了混合专家数据的生成式对抗模仿学习方法，对TD3强化学习框架进行权重预训练。同时，对策略网络引入了噪声来提高模型的鲁棒性。在微调阶段，该团队也设计了多阶段的微调策略来提高模型的表征能力。

基于视觉触觉传感器的开锁任务的仿真与实验

据悉，此次比赛也吸引包括清华大学、浙江大学、同济大学、伦敦国王学院、南洋理工大学、新加坡科技研究局（ASTAR）及信息通讯研究所（I2R）等国内外知名高校和科研机构参与。该挑战赛的获奖体现了72779太阳集团游戏近年来紧跟国际学科前沿，全面提升人才培养质量，紧扣“双一流”学科建设取得成效。