李建：大家下午好。很高兴能有这个机会跟大家一块儿交流和分享一下我的科研课题。我是毕业于北京理工大学材料与机械工程学院的。本来我的博士课题的研究是比较，取的名字比较长，大家可以听一下，叫做《沉浸式虚拟现实系统中的双指力学交互技术研究》。所以我这个题目就没有给大家写，我给大家说了一个比较通俗一点的题目，叫做《触摸虚拟世界》。“触摸”这个词大家很好理解，触摸是吧。然后“虚拟世界”是怎么回事呢？跟大家说一下，我问大家一个问题，都看我3D电影吗？都看过吧。首先3D电影最开始火起来是《阿凡达》这个片。一直发展到现在我们的《功夫熊猫》，还有《盗梦空间》都是以3D电影的形式来展示。 不知道大家在看电影的时候有没有这一习惯：我看到图像，我不由自主地我伸手去碰它，我希望能感觉到这个图像。就像这个小朋友在看一个3D图画一样，伸手去摸。我们不只想看这个图像，然后我还想摸它，我们能办到吗？现在我的课题研究的就是这一点，我们是可以办到的。通过什么来办到呢？就是我的课题《虚拟现实技术》。虚拟现实技术通俗来讲就是用计算机综合各种传感和控制技术，生成一个视、听、触觉一体化的一个虚拟空间。我们人处在这个空间里面，可以与虚拟世界有交互，我们可以碰它。一个理想的虚拟世界它应该是给我们各种感官都有，我们的视觉、触觉、听觉，我们五感都应该有反馈。现在的研究是视觉研究的最早，然后触觉和力觉是现在比较热的一个点，听觉和嗅觉也有研究者在做，但是我今天就不讲这块的东西了。 好，虚拟现实系统刚才给大家看了那张图，它主要是这个组成。我们操作者在这个位置，然后是计算机为中心，生成了一个虚拟世界，它与我们操作者之间，我们可以有位置的跟踪，我们的位置可以通过输入设备输入到计算机系统，然后我们的语音，然后我们的一些姿态可以输入计算机，同时计算机输出来的东西就包括我们的图像，用立体来显示，包括我们的力觉显示，我们的触觉显示，我们的声音合成。我们在这个计算机生成的一个包围的环境里边。这个系统有什么特点呢？大家可以看到，多感知，是我们五感它从原则上都应该具有的。然后有交互性，不管我们从这个系统来获取我们所感觉到的感觉，同时我给它一些命令或者有一些动作的时候它也能够识别，这是体现在交式性。另外一个就是比较重要的一个，就是沉浸性。这个世界应该把我们人整个包围起来，这样我们才能相信这个世界是真实存在的，所以这个词叫“虚拟现实”。虚拟的越接近于真实，它的效果是越好的。 我今天主要讲的就是触摸虚拟世界，我主要跟大家讲力觉这块的。现在已经有的研究是这样的，大家可以看这个屏幕上。上面这张图是普渡大学做的。首先是一个大屏幕，可以看到这是一个易拉罐，它就是通过我们普通的一些设计软件，像CAD之类的，画了一个图像，然后通过这样一块，台面式的一个小的力觉设备，我们通过它来感觉我们的鼠标与我们画的图发生碰撞，这个设备同时给我们手上一个反馈力。这个设备同样的，它只是设备不同，也是做了一个虚拟产品的设计和布线的操作。 但是这个系统有什么特点呢？我跟大家说一下，它首先都是通过大屏幕投影来的。不管投影是用在单摄像机还是双摄像机形成的立体，它的场景还是比较大的。但是它的缺点主要就是视觉跟力觉在空间是分离的。大家可以看到，我眼睛看的是这里的图像，但是我手接触的我跟前的一个设备。所以我的视觉跟我的力觉是分离的。而这种形式就不符合我们与外界世界的交互。我们如果与真实世界交互的时候，比方说我拿到了一个鼠标，我同时我手看到它我拿到了，然后我手感觉到拿到了，这是我们一个差别在这儿。这样的话导致我们的操作效率比较低，也不能长时间的，会容易疲劳。 还有一种设备是这样的，工作台式的。我们可以把我们的设备和我们显示的图形都把它表现在这一个受限制的一个小的屏幕下方，这一个空间的位置里面。这样的话就不会出现我们刚才讲到的视觉分离的情况。但是这个情况下，你工作在工作台前你必须得在前面坐定，是不能移动的，视角的位置必须固定。然后它的操作空间比较小，同时因为本身场景就小，力觉设备有占一定的空间，有可能会阻挡住你的视线。我眼前看到的是设备，而可能看不到图像，是这种情况。所以我要做的东西我想出来，我觉得这挺好玩儿的，我就要做到我怎么样既能实现我的力觉与视觉的融合，又能保证我看到我的视觉的时候，我的设备不影响我。这是我在实验室里做实验的一张照片。我实验这个系统就包括我们就要保证实现我们刚才讲的虚拟现实系统的几个特性：沉浸与多感知。下面我跟大家具体讲我是怎么实现的。

刚才说了，首先通过一个现代比较热的3D电影，比较好玩儿，然后我又能摸到它，这挺有意思。所以科研研究的两个动力一般是这样，首先我感觉到乐趣了，但是因为机械电子的，它并不是一个特别基础的学科，它需要有一些应用来支撑。它有什么应用呢，我们可以看一下。第一张图是我们一个虚拟装配，传统的虚拟装配，假如我们没有力觉反馈的话，我们在系统里边只能通过我们的鼠标一点击，然后图形自动完成安装。它也可能会检测出我的设备是否适合那个安装。但是如果我们加入了我们手的操作，有个力反馈的话，就可以感觉到我这个设备从这个圆柱杆加到孔里进不去的时候，有什么样的阻力，阻力的大小，都可以模拟出来，它是跟我们实际装配很接近的。这是我们一个军事训练。现在因为不可能，如果训练战士打仗的话，不可能找一个真实的场景来，我们就可以给他设置一个虚拟现实系统环境，前面有一大屏幕，是一个战场环境，然后他手里可以抓到我们各种枪械，而这种枪械上我们想法给它加上力反馈的话，我们就可以感觉到枪械的震动，后坐力。这同样是一个医学的手术的训练，另外这是科学的可视化，我们在化学和物理上我们想体会分子之间的接触力、拉力和压力的话，都可以通过这个来实现。 好，所以我要实现我这个目标，需要经过哪些条件来实现呢？首先我要生成一个立体的场景，然后我要有一套力觉设备在里面。然后这两套场景在一块儿之后，我们需要把它在空间上融合统一起来，之后实现我们的操作。下面我来分别讲这四个步骤我是怎么来实现的。 首先是沉浸式立体场景的创建。现在我们的立体场景一般有现在这四种形式：第一个是我们的立体显示器。现在立体显示器都做的比较小。第二个是我们单屏幕的大屏幕。然后这种形式称为洞穴式的，它就是增加了我们投影面的面数，可以增加到四个、三个或者六个，这样的话你会整个包围在里面。另外这种是我们通过头盔来看，你是把头盔戴在我们眼前，我们的场景就通过我们的头盔这个LCD屏显示给我们的眼睛。我选择哪个呢？我就先了这个大屏幕的。首先它有一个优点，就是它的视角是足够大的，同时又不像我们的K5这样的形式造价特别高，需要特别多的面。如果我们基于这个基础上有了研究的话，它同样可以把技术移植到这个K5里边来，所需要增加的只是一个拼接的问题。所以我现在了我们这个单面的大屏幕。好，这是系统里面组成部分，首先是图形工作站，然后有投影仪，是双投影仪，通过偏振片投影出两个图像在里边，这边有一个位置跟踪器，位置跟踪器跟踪的是我们人在场景里的位置。我们人必须戴着立体眼镜，一会儿下面还会跟大家具体讲这个立体到底是怎么，我们来怎么来看待这个立体场景。可能有的同学比较感兴趣，以前光看到过，不知道它怎么实现的。 好，这就是我们现在比较热门的视差式的立体头像，立体成像。因为我们人是双目的，都是两只眼。大家可能都有这个经验，如果一只眼穿针或者倒水的话，有可能会不能成功，因为它定位比较不准确。为了模拟这个过程，我们知道在我们的大脑里边，其实出现的是两幅图像，而模拟这个过程，假如我们在屏幕上投影出两个图像，而保证我们的一只眼睛只能看到一个图像，这样的话就把我们大脑欺骗了，我们大脑就好像看见在这空间位置有一个真实的物体在这儿一样，这是最简单的一个立体成像的一个原理。 从这个图有不同的情况，假说我们左眼和右眼的图像是呈交叉的话，我们看到的立体图像会在屏幕前；假如我们是这种，左眼，左图像在左边，右图像在右边的话，我们看到的物体就会在屏幕里边，这样会形成一个景深在屏幕里边。 刚才讲的是我们怎么把图像投影出来，这张图显示的是我们怎么来看到我们的立体图像，怎么保证我们左眼只是看到左图像，右眼只是看到右图像。两种比较常见的方式：一种是偏光板的形式，另外一种就是视差的。这种形式是，大家都知道光的偏定性是吧，这样的话就是保证我们一个图像是用横偏振，另外一个图像，这个图画得有点问题，应该是竖向、垂直方向的一个偏振，相对应的我们两个眼的镜片，就是分别对应的，只允许横向的光通过，和只允许竖向的光来通过。通过这种方式来保证我们每只眼睛只看到我们相应的图像。而这种方式是我们可以用液晶眼镜闭合来实现。当我们屏幕上显示我们左眼要看的图像的时候，我们把右眼这个给关闭，看不到。我们显示右眼要看的图像的时候，我们就把左眼来关闭。这种方式依次来实现，就是实现我们每只眼，保证我们每只眼睛只能看到每只眼的图像。也就是我们右眼看到的是A图像；我们的左眼看到的是B图像。这样我们形成的视觉就是C这个物体在空间里边。 下边这是讲的在我们计算机里面，通过什么步骤来实现我们图像的生成，具体就不跟大家讲了。这也是一个比较简明的，我们怎么来看我们物体的生成。这是针对一个眼睛来说的话，假如说我们所需要的物体在这个位置，我们就可以把我们的投影面设定在这儿，然后做透视，把我们