AI新星系列报道之九 | 刘桂良:期待具身智能机器人的“顿悟”时刻
20科技研发的人形机器人登上舞台,以其精准的动作和稳定的表现深入人心。不仅展示出中国智造的强大实力,也让大众意识到,人工智能正以具身智能机器人为载体,逐步走进人类的生活。
具身智能,简而言之,是将人工智能系统与机器人等物理实体相结合,使其能够感知环境、进行决策并执行动作的一门技术。机器人形态多样,包括双足、四足、轮式、机械狗等,其中,人形机器人对人类社会适配性最佳,被认为是最能够帮助人类的机器人。
作为具身智能领域的学者,香港中文大学(深圳)刘桂良教授正带领团队主攻人形机器人发展的技术难题。他从具身机器人数字引擎入手,积极探索机器人的安全控制决策,推动具身智能从展示走向通用与泛化。

刘桂良教授
具身机器人数字引擎:为机器人提供无限训练场景
要让具身智能机器人真正变得“聪明”,它需要一个强大的“大脑”——这个“大脑”不是生物意义上的器官,而是一种能够处理多种信息的多模态大模型。这种模型可以整合视觉、听觉、触觉等感官数据,以及语言和指令等抽象信息,帮助机器人更好地理解周围环境并做出决策。
然而,训练这样一个“大脑”并不容易。虽然AI在文本、图像和视频生成方面已经取得了很大进展,但在机器人控制决策方面仍然面临巨大挑战。核心问题在于,机器人操作的数据与文本、图像等数据完全不同。机器人需要在真实的三维空间中行动,而这些数据的采集成本高、效率低,且不同来源的数据格式和采集方式不统一,导致数据难以整合用于训练。这种碎片化的数据收集方式使得数据质量参差不齐,无法覆盖多样化的操作场景,严重限制了模型的训练效果和泛化能力。因此,如何高效、低成本地获取高质量的操作数据,成为了开发可应用于实际场景的“视觉-语言-动作”(VLA)通用机器人操作大模型的关键瓶颈。
针对这些问题,刘桂良教授与团队提出了基于生成式仿真的机器人数字引擎。该引擎依托强大的生成模型算法,能够将真实世界的数据映射到虚拟环境中,在仿真空间内生成多样化的场景。通过这种方式,引擎能够规模化地生成人形机器人操作技能数据,并最终将这些数据无缝部署到真实机器人系统中,为机器人控制决策提供高效、低成本的数据支持。这一技术突破不仅大幅降低了数据采集的成本和复杂度,还为机器人操作大模型的训练和泛化能力提供了坚实的数据基础。

具身智能机器人数字引擎实现无缝部署(zero-shot deployment)到真实机器人
“当你给出一段语言描述,它便能生成相应的场景。就如同生成一个五彩斑斓的视频,但内容不仅是画面,而是可以互动的3D场景。” 刘教授解释道。
目前,这一研究项目得到了深圳市重大专项和大学联合基金的支持。此前,刘教授团队与跨维智能公司合作,共同开发出实现通用机器人智能AU和合成数据引擎DexVerseTM,以及背后提供支持的一些列具身智能关键技术,包括3D生成式AI、可微分仿真和渲染、3D基础模型的架构设计和学习等。
具身机器人数字引擎
摆盘任务 倒水任务 数字引擎生成的双臂机器人操作技能 摆盘任务 倒水任务 经过引擎数据训练的真实机器人动作决策大模型(RDT大模型) 物体抓取任务 开箱子任务 数字引擎生成的单臂机器人操作技能 物体抓取任务 开箱子任务 经过引擎数据训练的真实机器人动作决策大模型(DT大模型) |
人形机器人:集多角色于一体的未来智能助手
在具身机器人数字引擎搭建的技术基础之上,刘教授正探索人形机器人的技术发展与应用。人形机器人因其类似人类的物理结构,能够无缝融入人类工作环境,并承担多种任务。这一特性使它们成为人工智能在现实世界中的重要载体。近年来,随着硬件性能的提升和控制算法的不断优化,人形机器人在工厂、家庭和办公室等各类场景中的应用日益广泛,并发挥着越来越重要的作用。然而,由于人形机器人通常具备复杂的上半身和下半身结构,涉及众多自由度,实现稳定、高效的控制仍然面临巨大挑战。开发先进的控制算法,使其能够适应多变的环境,是当前研究的关键问题。

技术路径流程图
目前,刘教授团队的研究重点在于机器人的安全控制决策,即鲁棒优化的人形机器人控制模型。
“我们设计了一套干扰排除算法,使机器人在外部干扰下仍能稳定运行。这种稳定性体现在,机器人可以在各种地形行走,抵抗各种外部干扰,还能模仿人类的动作。此外,我们还实现了任务执行模式的自动切换。机器人在干扰较小时优先执行任务,干扰较大时则优先抵抗干扰。”
刘教授团队设计的干扰排除算法,使机器人在外部干扰下仍能稳定运行
业内普遍预测人形机器人将在未来五年内大规模进入市场。刘教授表示认同。他认为,尽管初期的人形机器人产品可以完成的工作较为有限,但随着技术的迭代,它们会拥有越来越强大的功能。
今年二月,国际电工委员会(IEC)正式发布由我国牵头制定的养老机器人国际标准。这标志着养老机器人产业已进入规范化发展阶段。
对此,刘教授从成本方面分析了人形机器人引领智慧养老发展的可行性。
“对于老龄化社会来说,人形机器人可以极大减轻社会的养老压力。可以预测的是,在五年内,强大的中国智造可以将人形机器人的成本控制在10万元至20万元,有望让具身智能在中高端养老院内率先普及。”
展望未来:AI定义本体,机器人实现自我进化
对于具身智能的下一步发展方向,刘教授提出了“AI定义本体”的概念。传统的具身智能研究通常将机器人视为智能体,并围绕其感知、决策和控制展开探索。然而,这种研究范式难以保障机器人对环境的持续适应能力,也无法像生物进化那样推动机器人自身的进化。
为此,在AI定义本体的研究框架下,刘教授提出一种新方法:利用虚拟仿真环境中的强化学习和大模型技术,在更新机器人控制策略的同时,实现其自动化设计与形态优化。通过这种方式,机器人能够在复杂环境中自主适应并完成任务。优化后的形态可转化为现实,进行生产与测试,推动具身机器人的自然选择与进化。
刘教授进一步解释道:“未来的机器人制造厂可以根据需求自动组装出适合特定任务的机器人形态。比如,你需要一个会开车的机器人,工厂就能定制出适合开车的形态。通过仿真环境中的不断迭代,机器人将逐步优化其形态与控制能力,最终走出工厂即可投入工作。”
DeepSeek团队提到,他们的全新推理模型曾出现连内部都未预料到的“Aha Moment”(顿悟时刻)。这是一个从量变到质变的过程,反映了AI技术阶跃性突变的特点——进步往往在某一刻突然发生。
从生成式具身智能引擎到人形机器人,再到AI定义本体,刘桂良教授带领团队在具身智能领域不断探索与突破。他期待,随着技术的持续迭代与更新,他与团队也将迎来属于自己的“顿悟时刻”。
青年教授简介

刘桂良
港中大(深圳)数据科学学院助理教授
刘桂良博士现任香港中文大学(深圳)数据科学学院助理教授。他本科毕业于华南理工大学计算机科学与工程学院,随后在加拿大西蒙弗雷泽大学(Simon Fraser University)计算机科学系获得博士学位,并在加拿大滑铁卢大学(University of Waterloo)及向量研究院(Vector Institute)完成博士后研究。刘桂良教授的研究主要聚焦于强化学习与具身智能决策。其中,在安全强化学习方面,他基于逆约束推断方法,致力于提升强化学习系统的安全性。此外,他还专注于具身机器人操作技能的研究,开发高效的数据引擎,以提升机器人在复杂任务中的操作能力,并设计稳健的控制算法,确保人形机器人在复杂环境中的安全性和稳定性。与包括华为、百度以及跨维智能在内的企业和机构展开合作。自2022年以来,刘桂良教授在包括NeurIPS、ICML、ICLR在内的国际机器学习顶级学术会议和期刊上发表论文30余篇,并入选工信部“启明计划”、深圳市“鹏城优才”及香港中文大学(深圳)“校长青年学者”计划。此外,他主持广东省和深圳市面上项目,并担任深圳市重大专项子课题负责人。他的研究工作受到广泛认可,曾获得“加拿大Vector研究基金及Mitacs研究奖”的资助。

刘桂良教授团队合影