人机交互：数字世界与物理世界“破壁”

“人机交互的终极目标是让人类与计算机能够像人与人一样自然交流。”

在靳羽华教授看来，键盘、触屏甚至语音交互仍然是“过渡态”，未来的交互应该是多模态的——包括了声音、图像、动作、触感的全方位交互。靳羽华教授以热门的科幻电影《头号玩家》为例，概括了未来AI的两种可能性：一是人类可以进入数字世界；二是数字世界可以融入现实生活。而他的研究，就是为这两种可能性铺路。为了实现这种无缝对接，必须将计算机科学与材料学、传感器技术、光学、人工智能等多学科结合起来。靳羽华教授丰富的交叉学科研究背景和学术经历恰恰能够让他在交叉学科碰撞出许多不可思议的新鲜想法。

靳羽华教授是人机交互（HCI）与光学工程交叉领域的创新研究者，他分别于2010年、2013年和2017年在北京工业大学获得应用物理学学士、光学工程硕士和光学工程博士学位。随后，在2018年至2020年期间，作为博士后研究员，他在麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的人机交互工程组工作两年。他的工作方向融合了多学科交叉，主要围绕先进的个人制造技术和可视化技术展开，这其中包括了如何结合先进光学科技、计算软件和硬件科技，进行多元化、创新性的应用技术研究，致力于缩短高端科技与日常生活之间的应用距离。

AI赋能的“变色龙革命”：随心变色的“魔法材料”

一只3D打印的白色变色龙模型，随着电脑控制光线，变色龙的表面瞬间从纯白变为斑斓的图案，又在几秒内切换成迷彩纹理。“未来，你的衣服、汽车甚至墙壁都能像屏幕一样随时‘换皮肤’。”这是香港中文大学（深圳）理工学院靳羽华教授研发出的Photo-Chromeleon，一种可编程光致变色材料。

互联网科技博主对Photo-Chromeleon进行报道

这种“可编程光致变色材料”，可通过特定波长、特定能量的光辐照来控制物体表面颜色变化。这种透明涂料喷涂后，通过计算机设计的指令即可生成图案，且颜色可再次重置，让物体具备随时随地变换色彩的奇妙能力。

Photo-Chromeleon打破了物体在被制造以后其颜色就无法改变的固有认知，可以让用户随心所欲的个性化定制物品的色彩外观。该技术不仅可以在科学、艺术和工业等各个领域产生十分广泛的应用，并且也将会对社会资源节约及可持续发展产生十分积极的影响。

这款可重编程墨水系统可用于任何物体，如手机壳、汽车或是鞋子……

点击上方图片跳转视频，进一步了解Photo-Chromeleon。（视频来源：奇趣小黑）

靳教授说：“这种特殊的染料可以提供各种颜色定制，从而提高制造效率并减少总体浪费，所以用户可以每天对自己的物品及其外观进行个性化设置，而无需多次购买同款但不同色的商品。”使用这一系统一共可以分为三步：调制颜料、硬件设置、软件编程。

首先是调制颜料，首先用漆料分别与红、黄、绿三种光致变颜料混合，然后等比例混合，再喷涂到物体上。

第二步进行硬件设置，需要用到UV光源和DLP投影仪。

第三步就是对进行软件编程，控制物体表面的染料在UV光源下的显示。

然后，打开光源，就可以看到一只不仅会变色，还能分块变色的“变色龙”诞生了！

这项技术一经发表，便受到学术界以及社会的高度关注。靳教授凭借该研究成果于人机交互领域国际顶级会议ACM UIST 2019上同时斩获最佳论文奖（Best Paper Award）以及最佳报告奖（Best Talk Award），并在全球计算机图形和交互技术国际顶级会议SIGGRAPH 2020上获得大会特别授予的DCEXPO未来科技特别奖（Emerging Technologies: DCEXPO Special Prize）。目前为止，靳教授的Photo-Chromeleon技术已受到数百家国际知名媒体的争相报道，其中包括BBC国际新闻、MIT新闻、Businees Insider、Fast Company 、CNET等国际著名新闻媒体，同时也吸引了来自不同领域的著名企业（如Apple、华为、福特汽车、New Balance等）的广泛关注。

Photo-Chromeleon受到学术界、新闻媒体及社会各界的高度关注

气球机器人：静音飞行的智能伴侣

靳羽华教授研发的气球机器人是一种新型的智能机器人，它结合了气球的轻盈和机器人的智能。这种机器人可以依靠氦气的浮力在空中自由飞行，无旋翼噪声。“传统的人形机器人发展还有很长的路要走，不仅要克服庞大体积所产生的肢体配合问题，还会在移动中产生很大的噪音，而气球占用的是低空区域，且它天生适合漂浮，也没有无人机的运行噪音。”靳教授介绍，他的团队将超轻显示屏集成于气球表面，结合云端AI，打造出可对话、可移动的“具身智能”载体，同时具备语音识别、图像识别等功能，可以与人类进行自然的交流。气球机器人不仅可以作为家庭的智能助手，帮助人们实现晨间静音唤醒、饮食健康监测和实时菜谱指导，还可以在博物馆等场馆中提供个性化导览服务。据介绍，原型机预计年内完成规划，软件系统正接入多模态大模型，它可能比人形机器人更快进入我们的生活中。

打破虚实界限：可触摸的全息影像

靳羽华教授实验室的另一项“黑科技”是三位立体显示装置。三维立体显示装置是人机交互领域的另一个重要研究方向。这种装置可以通过特殊的光学设计，让虚拟影像呈现出真实的三维效果，用户无需佩戴任何设备即可裸眼观看。与传统全息投影不同，靳羽华教授的团队尝试结合AI与人机交互技术、先进光学技术以及先进光学材料，实现“可触碰的3D立体影像”。“当我们触摸一只虚拟蝴蝶时，传感器可以传递真实的振翅触感。难点在于触觉反馈与视觉信号的同步。我们训练AI模型实时解析用户手势，可以让三维立体影像能够实时跟进人体的手势产生响应，此外还会利用先进的人机交互技术产生对应触感。”

这背后涉及的是三重技术的配合——裸眼3D显示：通过精密投影阵列投影立体影像；探测器：声波阵列在空中形成压力反馈，模拟触碰感；各地交互：摄像头识别动作，让图像动态响应。

这种技术不仅可以应用于娱乐领域，如电影、游戏等，还可以在教育、医疗、工业设计等多个领域发挥作用。例如，外科专家医生可以通过三维立体显示装置远程操控3D影像指导手术，学生可以通过这种装置更加直观地学习复杂的例如还原分子结构等科学知识，游戏突破屏幕限制，“钢铁侠的全息交互并非遥不可及，只是需要更多交叉学科的火花。”靳羽华教授发明的三维立体显示装置为人们提供了一种与虚拟世界进行交互的全新方式，让虚拟影像变得更加真实和生动。

用创新连接世界  让AI有温度地走进生活

靳羽华教授鼓励学生“把想象力当刚需”。

“我的课叫‘电子游戏设计’，但学生学到的是如何用科技实现天马行空的想法。我的教学理念是‘证明有趣才是第一生产力’。”他的实验室更像是一个极客的创意乐园，他的同学更是来自不同学科。

“我们鼓励‘混乱中的创新’。”靳羽华教授提到，实验室汇聚了来自不同学术背景的学生，他们各具特色：有的同学是动手能力超群的极客，擅长将创意变为现实；有的是痴迷计算机技术的天才黑客，善于探索代码的无限可能；有的则是机器人爱好者，对智能机械充满热情；还有的在艺术与设计领域展现出非凡的天赋。总而言之，这个实验室以激发学生的想象力和创造力为核心，鼓励他们突破界限，探索科技与艺术的交汇点。

从麻省理工到港中大（深圳），从光学到人工智能，靳羽华教授的科研之旅是一场充满勇气与智慧的跨界探索。他希望通过港中大（深圳）的平台培养更多跨学科的创新人才。他对年轻学者的建议道：“不要害怕跨学科的挑战，真正的创新往往在学科交叉的地方发生。”

在人机交互领域，靳羽华教授未来的研究方向将更加注重科技与生活的融合。通过不断探索和创新，让科技更加贴近人们的生活，为人们提供更加便捷、智能、个性化的服务。无论是智能变色材料、气球机器人还是三维立体显示装置，这些技术的最终目标都是让人们的生活更加美好。相信在不久的将来，这些技术将逐渐走向市场，为人们的生活带来翻天覆地的变化。

青年教授简介

靳羽华

港中大（深圳）理工学院助理教授

靳羽华教授分别于2010年、2013年和2017年在北京工业大学获得应用物理学学士、光学工程硕士和光学工程博士学位。2018年至2020年期间，他作为博士后研究员在麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的人机交互工程组工作两年。在加入香港中文大学（深圳）理工学院担任助理教授之前，他还曾在加拿大西蒙菲莎大学（Simon Fraser University）计算机科学学院担任访问学者，并在意大利的Tinted Technology公司担任首席技术官。

靳羽华教授是人机交互（Human-Computer Interaction，简称“HCI”）与光学工程交叉领域的创新研究者。他的工作方向融合了多学科交叉，主要围绕先进的个人制造技术和可视化技术展开，这其中包括了如何结合先进光学科技、计算软件和硬件科技，进行多元化、创新性的应用技术研究，致力于缩短高端科技与日常生活之间的应用距离。