全媒体视角
虚拟现实对整个教育领域的变革将具有划时代的推动作用。利用虚拟现实技术也可实现教育资源突破地域与国界限制的共享，这将成为教育领域耀眼且颇具有应用前景与意义的技术。我们相信，教育科技一定会答应到你去的地方，一定会带你到该去的地方。
上海科技大学教授虞晶怡演讲视频
上海科技大学教授虞晶怡
以下为上海科技大学教授虞晶怡在LINK2017在线教育论坛暨教育部在线教育研究中心在线教育奖励基金（全通教育）颁奖典礼上的演讲——
各位领导下午好，我是上海科技大学的虞晶怡。今天下午给大家带来了一场视觉盛宴，一会儿给大家展示一些全新的AR/VR和人工智能在教育上的应用。
今天我演讲的题目叫《给虚拟教育装上智慧之眼》，装上智慧的翅膀。我简单介绍一下我自己，我在2015年从美国回到中国，在上海科技大学任教。在此之前，我在美国的加州理工读的本科，在美国麻省理工拿的博士，在麻省理工毕业以后，我当时在美国的特拉华大学任教十几年。在这十年里，我一直想一个问题，我本科和研究生一直在读人工智能和计算机神经网络和计算机视觉这一块，什么样的技术改变我们生活，特别是改变教育。
先讲一些我在教育上的尝试，在教育上面，肯定不是一帆风顺。在2007年的时候，当时最火的时候，是任天堂的Wii，当时在美国的时候，希望用Wii做教学应用，比如说老师可以用Wii来进行教学的尝试。又过几年以后，在2010年的时候，微软推出了一个游戏引擎，这个游戏引擎叫Kinect，我估计各位小孩都非常喜欢。它是3D的深度相机，玩游戏者可以在面前跳和动，这个Kinect可以捕捉到三维的信息，这个人就会自动产生在三维信息里面。在2010年的时候，我们想能不能用Kinect作为教学使用呢？我们在美国的特拉华Christiana Hospital做了一个虚拟教学的实验，方法很简单，就是在我们虚拟医疗的实验室里面，我们用了三台Kinect，三台相机，每一台相机都从不同角度进行拍摄，拍摄手术过程以后，学员可以回家，在任意的角度进行观看，这就是现在所谓的AR/VR的前身。
2014年，当时最火的技术是Google推出的Google-Glass，类似于一个AR的眼镜，戴上它可以看到虚拟的画面。我们想用Google-Glass做医学治疗。美国经过阿富汗战争之后，有一些伤员，他们脚踝经常受伤。这是Google眼镜的方法，可以戴上，围着脚看一圈，通过的Google-Glass来捕捉的视频，能够对三维的场景和三维的物件进行重建，在这个案例里面，拿三维的眼镜来把这个脚踝进行重建，传统重建的脚踝需要非常高精尖的机器人来做，非常昂贵。戴上这样一个眼镜，围着这个脚转一圈，转一圈以后，马上在云端进行三维的处理，可以把整个脚踝全部呈现出来，全部呈现出来以后，可以为它定制一个固定器，这个固定器在美国定制是非常昂贵的。大大地降低成本，戴上固定器的脚踝以后，整个脚就可以进行复健的处理。这是产生三维的效果。
回过头来说，这是从07年开始，我们慢慢从真实的世界，慢慢过渡到虚拟的世界，我们所在做的事情，就是把一个真实的物件重现。在2015年所谓虚拟现实的元年，大家都推出各种各样的虚拟现实的技术，在过去一年里，很多虚拟现实技术并没有真正地落地，大家想一想，为什么虚拟现实落地没有落地呢？在我看来，虚拟现实之所以没有落地，归根到底这个技术不吸引人，作为教育工作者，最重要的一部分教学任务，就是让学生感兴趣，如果你产生的教育内容让人不感兴趣，让人觉得不真实，学生学习兴趣必然丧失。我们做虚拟现实，最重要的一点，就是要做到眼见为实，做到眼见为实怎么做呢？就是所谓的智慧之眼，你要为这个眼睛，为虚拟现实，不管是教育也好，应用也好，装上人工智能。什么是人工智能呢？我分三部分来讲。
第一部分加上真正的眼睛。什么叫真正的眼睛呢？就是当我拍摄一个虚拟现实和增强现实内容的时候，我希望我拍摄到的内容，让眼睛看上去是非常的真。什么是眼睛看上去非常真呢？人的眼睛是世界上最精美的相机系统，它能看到三维世界，用不同的机制，看到三维世界第一个机制，通过所谓的立体视差，人的两只眼睛长在正前方，为什么呢？长在正前方的两只眼睛会产生巨大的重叠区域，所有的东西，左眼能看到，右眼也能看到，这个重叠区域，对于我们判断非常重要。这就是所谓的视觉视差的关系，要做到人眼看得非常逼真的景象，首先要产生双目视觉效果。怎样产生呢？世界上有很多的解决方案。其中一系列方案，都是从美国的核心技术公司发生的，比如说美国的Google公司提出Google Jump，他把每一个相机拍摄的图象，一拆为二，所有的左半边拼在一起，产生一个环视效果，右边也可以产生一个环视效果，这样产生两倍的环视效果，而不是简单的单独的360度的环视效果。
传统解决方案，其实有一个巨大的问题，这个巨大的问题在哪里呢？当我进行一个图像拼接的时候，左半边所有图拼起来和右半边图拼起来不一致，左半边图非常完美，是360度的图，右边也是非常完美的环视图，当你把这两个图叠加在一起，你就发现，这个车怎么大小发生巨大的变化呢？这个红颜色的车，位置也发生巨大的变化，这是为什么呢？这是因为做传统的VR转播的时候，只考虑到整个图像的效果，没有考虑到两只眼睛必须要产生双目视觉的效果。这也就是为什么绝大部分做虚拟课堂转播，都采用单目360度的转播，这个效果并不好，因为不能产生3D的视觉效果，怎么解决这个问题呢？
这个问题很容易解决，我们在上海科技大学，我们发明了这样一个技术，这个技术叫做双目相机的360环视，它是Google技术的变种，Google技术进行重建，双目相机技术，用了两个相机排成一组，每两个相机，好比人的两只眼睛一样，好比两只眼睛在看这个世界，你从不同的角度，进行两只眼睛看世界，你把内容进行拼接起来。这样一个拼接技术，可以在云端进行实时拼接，可以做实时的实况转播等等。
我给大家看一下视频，这个视频是前不久我们在上海科技大学做的尝试。在上海科技大学，我们完全实现了360度3D的实况转播，这个是我们艺术课程，我们上科大艺术之光的课程，演讲者是京剧名家蓝天，非常有名的老师。这个看得更清楚了，这是我为宁泽涛拍摄的，360度拍摄的实况发布，我可以不断地把宁泽涛拍出来，把虚拟的物件都放在三维空间里面，可以做到三维真和假融合在一起，而且是有一个3D视觉这样一个效果。
刚刚说了，如果要做一个360度三维的效果，采用双目的拍摄技术，把它放在课堂里面，可以看到老师，也可以看到同学。你能不能用更多的相机，刚才两个相机这么拍，实际上可以采用更多的相机，这个相机系统，这个是17年以前，参与的一套系统，18个相机对环境进行拍摄，这样一个拍摄系统，对我有什么用处呢？因为你从不同的角度进行了拍摄，那么这样的话，你可以产生人眼另一种三维视觉，比如刚才闭上一只眼，你可以看到三维世界，你知道我仍然在这个屏幕面前，那是因为你通过人眼焦距的变化，你看到我就有焦距在我的身上，根据焦距变化产生内容的不同，就是采用这样一个系统，人的眼睛，有很多微小相机，在空间不同位置拍摄，如果你用一个多相机进行拍摄的话，就能产生实时对焦的效果，这个是展示一下这样一个效果。
给大家展示一下360度拍摄的效果。这是一个实时的对焦效果，你可以试试把焦距调整，你可以把焦距调整到穿蓝衣服的同学上，可以调整到相机本身身上，利用这样一个系统，就可以进行实时对焦的效果。
刚才讲的两部分，是怎么样给虚拟现实和增强现实加上眼睛，有了眼睛，我们就可以进行很好的内容的生成，比如说今后，可以展望到MOOC做的是360度3D的慕课，这样体验效果好比栩栩如生的，又像戴着自己的眼镜看课程一样，而不是看一个平板的屏幕。
我讲的下一部分，怎么样加强头脑，刚刚讲的是从视觉的方面，怎么样让计算机视觉算法和计算机拍摄技术做这样一个实现，头脑就是人工智能，怎么样用人工智能把它加在一起。第一个很有意思的问题，现在比如说大家已经拍摄了好多好多现有的慕课课程，这些慕课课程，都是一个2D的视频。我能不能够用人工智能的方法，自动把这样一个2D的视频转化为3D的这样一个视频效果呢？答案是肯定的。为什么呢？因为人很聪明，人刚刚看一张图片，能判断出图片大概的深度，通过空间几何的关系判断结构是什么样子的，可以用深度学习的方法，把整个图片里面的内容学出来，根据一张图片，就可以学出整个三维的信息，就好比在一个很简单的MOOC的视频里面，你可以把整个三维给学出来，你就自动生成360度3D的慕课效果。现在看一个很简单的图片，左边是一张图片，一张全景图片，右边是自动通过机器学习得到的一张全景图，只用了一个图片，自动生成一个360度3D的效果，自动的，不需要任何的重新的拍摄。你只需要人工智能的方法，深入学习的方法，就可以生成3D的效果。
刚才说的种种的情况，都是360度向外拍摄的，能不能进行360度向内拍摄？今后大家希望，不单单从左边看到我，也可以通过右边看到我。你能不能通过360度听我的演讲，或者教学意义上说，老师做一个实验，能不能围着老师看他做实验？这个技术是全中国唯一的一套技术，这样一个设备，用了140个相机阵列，其中80个是静态相机，60个是动态相机，可以从任意角度进行拍摄，拍完以后，可以从任意角度进行观看。
我们看一下拍摄结果，第一个拍摄结果是我们的王石，从360度角度进行观看，我们有幸拍到万达董事长王健林的拍摄，你可以围着他看。我们看一下动态的效果，这个是我们说的蓝天，京剧的名家，我们从任意角度进行观看，还可以做一个切换，不管是化妆前还是后做一个切换。
刚才拍的是静态的结果，我们看一下动态的结果。这个是我们和美国Juilliard音乐学院合作的项目，它是教乐器最好的学校。分别拍摄了歌唱者，小提琴手和一个鼓手，同时拍完以后，把这三个人，在空间摆放任何一个位置，可以在里面穿过去。更有意思的，你愿意参与这个表演，自己也可以拍摄，把它放在中间，跟他们一起进行表演。这个将在今年7月份在联合国教科文组织的一个活动上进行巡演。
我们再看下一个片段，下一个片段是前不久和美国的一个公司一起合作的，入选戛纳电影节的一个影片，唯一一个入选戛纳电影节的一个VR短片，这个小片段，要拍摄两个老人之间的互动，作为观众，戴上头盔就可以在他们之间穿梭，身临其境在你们的面前。
我从2015年回到上海科技大学。上海科技大学，我稍微介绍一下，到今年为止有三年的历史，上海科技大学是非常小的大学，希望能够成为研究型的，而且是国际化的大学。上海科技大学，我们在那里研发了各种各样的拍摄系统，包括我刚才说的360度3D拍摄系统，包括相机环视拍摄系统，大家有兴趣可以来上海科技大学进行参观。
我回过头来讲VR在教育上，我们在上海科技大学用这项技术，我们尝试了很多有意思的应用，我们看一下。
第一个应用，我们和上海博物馆做了它的青铜器的复现。我们的学生可以钻到青铜器里面去，这样一个环境，能够上你复现整个文物的环境、文物的物件，允许你在这个文物里面穿来穿去，在真实世界里是不可能，也不会让你靠近这个文物，有VR的体验，就可以复现这样一个体验。
除了对文物的体验之外，还有爱国主义教育等等。我们对中共一大会址我们进行了复现，我们从上往下看，是全貌，手点一下，就可以进入到中共一大会议室的任何一个房间里面，你可以走来走去看，这个大会议室到底是什么样的状况。
除此之外，我们继续沿用了医学教育上的一部分应用，我们做了360度内窥镜的效果。你不但可以在外面看到医生做手术，你还可以看到医生在里面做手术的效果。
除了教育信息化，做物件展示也是非常大的应用。我们和阿里巴巴在双11推出了阿里巴巴光场购物的概念，用我们技术拍摄的一个光场物件的复现。你戴上头盔，甚至在手机上，就可以滑动和推动走近走远观看这个路线。
我今天接受采访的时候，记者问了一个非常好的问题。虚拟现实和增强现实是不是只有老师可以用呢？答案不是的。我们可以老师和学生拍摄自己的内容，我们做了一个小型的拍摄系统，做一个迷你型的360度的校内的环拍，学生自己动手，制作各种各样的物件，这是我们制作的虚拟上海科大的一个应用。我用无人机，往上拍摄了一个360度环视以后，对整个校园环境进行了一个重现，重现完了以后，从任何一个角度飞进校园里去看，人造校园360度效果是什么样子的。
最后是让我非常自豪的，就是在去年的时候，我们参加了团中央的实践活动，我们团中央的实践活动，我拍了一部VR短片，这个叫《少女教师梦》，拍摄的是在云南的一个少女，希望将来入职成为做老师的梦想，我们通过VR、AR的拍摄环境，把真和实结合在一起。
这是新的结果，包括我们可以看到，统一我们这样一个技术，可以复现出非常真实的物件，我刚才讲了，如果我要做一个AR/VR教学内容，真实很重要的一个内容，一定让学生觉得是真实的东西。
这个是我刚才说的，上海科大VR的体验，你可以点击一下，你可以看到整个上海科大各个楼的三维模型，你点一下，人就进入到上海科大的某一个环境了。你就可以到处观看，好像自己身临其境的感觉一样。
最后，我非常感谢，因为从我回国，大概两年不到的时间，我得到了国家领导人很多的关心，包括上海市委书记韩正和刘延东副总理都参观过我们的实验室，大家感兴趣的话，可以到上海科大观看我们VR、AR的演示。
我结束我演讲之前，我有一个广告要做，在7月2号，我们在上海举办一个人工智能的创新创业大会，有诸多的人工智能创新创业的大咖来参加，包括李开复、360副总裁颜水成，还有商汤科技CEO徐立，到时候会谈很多人工智能在教育上应用的话题，如果大家感兴趣，欢迎大家到上海科大7月2号参加我们这样一个论坛。
最后一句话来结束我的报告。来自于最近非常火的人工智能电视剧《西部世界》的一句话，今后的教育科技也是这样，我相信教育科技一定会答应到你去的地方，一定会带你到该去的地方。谢谢大家！
5月10日，近千人齐聚清华大学大礼堂，共同参与并见证一场学术和思想的交锋—LINK2017在线教育论坛暨教育部在线教育研究中心在线教育奖励基金（全通教育）颁奖典礼。本次论坛由教育部在线教育研究中心主办，全通教育、学堂在线、《现代教育技术》杂志协办，中教全媒体承办。
LINK2017在线教育论坛现场
评论前必须登录！
注册