研究进展：虚拟现实-知行合一 | Nature Machine Intelligence编辑语
虚拟世界Virtual worlds的实现，主要是利用模拟的视觉和听觉感知。结合触觉，可以创造更多具有掌控感a sense of agency的沉浸式体验。A touch of virtual reality虚拟现实：触觉
随着虚拟现实virtual reality (VR) 和增强现实augmented reality (AR)的进步，虚拟体验变得越来越身临其境。目前，虚拟现实VR眼镜或头戴式显示器，可用于创建逼真的视觉和听觉感受，使个人能够虚拟体验各种环境，例如站在意大利的山顶上。虚拟现实和增强现实应用涉及多个领域，包括娱乐、康复、教育和通信。
到目前为止，虚拟现实VR和增强现实AR设备，主要集中在模拟视觉和听觉体验，而由于方法上的挑战，触摸感知或触觉整合一直被忽视。然而，触觉提供了关于温度、纹理和硬度的感官反馈，在创建真正沉浸式虚拟环境中，发挥着至关重要的作用。与视觉和听觉不同，触觉直接涉及人与虚拟元素之间的物理交互，使其成为逼真虚拟体验的关键方面之一。为了说明这一点，想象一下，在虚拟现实或增强现实中，遇到一条蛇。看到一条栩栩如生的蛇特写镜头，听到它的嘶嘶声，可能已经很强烈了，但触摸它的身体感觉，将是一种不同层次的体验。根据不同的情况，触碰虚拟蛇，甚至可以帮助人们克服对蛇的恐惧。
结合真实的触摸感知，对于增强虚拟体验的真实性和深度，是至关重要的。正如勒内·笛卡尔（René Descartes）所写，“在我们所有的感官中，触觉是最不具欺骗性和最安全的” 1。事实上，在科学教育中“动手hands-on”实验一直也是必不可少的。随着技术的进步，触觉界面，有望充分实现从触觉体验中，不断学习的能力。例如，生物专业的学生，可以移动和旋转分子的3D模型，以了解蛋白质和配体之间的复杂相互作用2。
在行动中，主动触觉具有重要作用。例如，手既能向大脑发送感觉信息，又能做出动作。在模拟虚拟世界的技术中，加入触觉，有望为虚拟体验增加额外的涉入感和心理真实性。在本期的一篇研究文章中，Zhang等人。通过引入基于折纸的触觉设备，与视觉显示同步，使人类能够积极参与与虚拟对象的广泛触觉交互，从而为这一领域做出贡献。作者强调了实现两种感知的重要性，这两种感知对于人们与物理世界的日常互动至关重要：物体坚硬（或柔软）的感觉，以及破碎或风中凌乱的感觉。
作者表明，这种正的和负的刚度特性，分别可以用折纸型材料来模拟。所设计的材料，具有预先定义的折叠模式，这决定了材料的可调刚度特性。从正到负的范围，可以调整集成在材料中的小型电机，从而改变折叠角度。当通过人的触摸主动地将力施加在设备上时，可以模仿不同的感觉，例如与触觉硬或软的物体（混凝土或草）相关联的感觉。例如，或那些与破碎或下落有关的运动，如碎冰。
在两个虚拟现实应用中，Zhang等人演示了该设备，包括手触觉反馈和脚触觉反馈。作者介绍了人类触发和主动的方法，实现了用户参与不同刚度感知的机械交互。这种方法与以前的触觉学研究形成了鲜明的对比，以前的触觉学研究是机器触发和被动的，导致感觉与真实世界的体验不同。因此，作者的触觉设备，为虚拟现实引入了一种新的交互方法，增强了用户的沉浸感。这项技术的潜在应用，包括康复机器人，其中触觉设备，可有助于中风患者握住不同硬度的物体；以及恐高症的治疗，其中将触觉与虚拟世界VR暴露疗法相结合，可以提供更有效的治疗选择。
Zhang等人提出的装置是用固定的形状设计的，但正如作者所指出的，折纸启发的方法，很适合创造一系列的形态。其中一个有趣的研究方向是将触觉反馈与基于折纸的机器人设备相结合，该设备可以调整其形态，以获得更多种类的触摸感觉3。这样的研究有望进一步将感觉和知觉与涉入感和行动相结合，从而带来更具沉浸感和实用性的虚拟体验。
参考文献1. Descartes, R. The World and Other Writings (ed. Gaukroger, S.) (Cambridge Univ. Press, 1998).2. Bivall, P., Ainsworth, S. & Tibell, L. A. E. Sci. Educ. 95, 700–719 (2011).3. Mintchev, S., Salerno, M., Cherpillod, A., Scaduto, S. & Paik, J. Nat. Mach. Intell. 1, 584–593 (2019)
文献链接https://www.nature.com/articles/s42256-023-00686-6https://doi.org/10.1038/s42256-023-00686-6https://www.nature.com/articles/s42256-023-00671-z本文译自Nature。
页:
[1]