在2017国际智能娱乐硬件大会上,观界CEO刘天成发表了《虚拟现实影视作品的拍摄与逻辑》的主题演讲。
刘天成认为,当观看端的设备已经足够多的时候,采集端变成了重中之重。他围绕拍摄安全距离、拍摄的景深的问题和POV对如何拍摄VR影视作品进行了讲解,同时点出了生产成本高,周期长、无法同步启动拍摄、3D景深的缺失、拼接的质量不好、培训成本太高这五大VR影视内容制作的痛点。
以下是演讲原文:
我大概看了一下演讲历史,只有我个人在讲虚拟现实影视作品的拍摄,其实这是一个命题作文,主办给到这个命题的时候我是比较忐忑的,因为面对一个新的东西,我也很难讲里边的一些逻辑,只能和大家一起探讨我自己的想法。
介绍一下我自己,我是刘天成,很多朋友认识我,主要是因为我除了是观界科技的首席执行官,我去年还担任了集团下的一体机的CEO,从做一体机到做摄像机,很多人问为什么,原因很简单,当我们觉得观看端的设备已经足够多的时候,我们就觉得采集端变成了重中之重。去年出去演讲的时候我还跟大家普及什么是一体机,为什么要用一体机,再早的时候我跟大家解释什么是VR,到今年,社会大众对VR的认知已经上升到一个高度,很多人说15年、16年是VR的元年,这个元年更多是认知的元年,当我们对VR有足够多的认知,我们要谈一谈当观看设备足够多,或者即将足够多的时候,我们要呈现什么样的作品给大家。
什么是虚拟现实的影视作品,昨天还有人问,听说你们是做360度摄像机的,你们做这个360度的作品好看吗?我有时候就想了想,是不是我们大众往往把虚拟现实和360度视频结合到一起,什么是虚拟现实,我们可以从字面理解一下,意思就是虚拟出来一个现实的环境,首先就有两点特别重要,第一,这个东西可能不是真的,他是虚拟出来的,跟我们实在的环境是不一样的。第二点,他给我们的感触及其真实的,我们在真实的世界中体验到的是什么样的,是可触碰的,是有景景深的,极端真实的,一个简简单单的360度的视频给我们看的时候,可能是一个很好的体验,但是不是一个真实的影像。
我们探讨虚拟现实作品怎么做的时候,我觉得虚拟现实影视作品的概念需要做一个比较清晰的解释,在我们看来,什么是虚拟现实影视作品?就是极端逼近现实,可以给我们带来现实体验的作品。所以说他一定不简简单单是视频,一定是可互动的,可交互的,也一定不简简单单只有360度的属性,比如说我们大家知道的美国最早做VR体育赛事直播的公司,他们就一直坚持做180度,因为他们认为你回头看到的观众席没有太多的意义这也是一种体验,所以虚拟现实影视作品一定不简简单单等于360度的视频作品。
在现在的阶段当中,我们的虚拟现实影视作品能够呈现出来给大家的影视类的,其实坦白说,更多的决就是360度的视频,为什么?因为比较好做,也比较好上手,很多传统的影视公司都在致力于转型成为一个VR影视的拍摄公司,但是我们也陆陆续续的接触到很多的作品,无论是做一体机,还是做摄像机,我们看内容和接触下游的客户我都发现大家对虚拟现实影视作品的拍摄,多多少少会有一些误区,虚拟现实影视作品怎么拍摄,有什么概念,我想跟大家分享一下。
第一个是拍摄安全距离,我们怎么样做一款虚拟现实的摄像机,或者说怎么做一个360度的摄像机,大家可以看到,360度或者虚拟现实的摄像机是有很多的摄象头组成的,不同的摄象头拍摄不同的方向,最后封成一个360度的视频,大家注意看这边一点,大家注意看一下,就是每一个摄象头其实都有一个FOV,FOV是什么概念,我们以人眼做例子,大家跟我做一个事儿,大家先闭上一只眼,然后拿出一根手指头,往两边挪一挪,看一看,大概90度左右的时候,大家能不能看见?都还好,再往后扯,还行,往后,看不见了。其实,整个的无论是机器还是人眼,都有一个范围,就是FOV,整个加起来是220度,这是一个比较清楚的成像区,这个120度之外就看不见了,对摄象头也是这样的,都有一个FOV,所有的FOV到一起,就形成了这样一个样子,有一个视频的重合区,如果把人的眼睛想象成摄象头,也有一个重合区,但是我们人脑进行了自动的缝合。
尽管我们闭上眼睛看到的世界跟两个眼睛看到的世界不一样,但是我们两个眼睛看世界不会有重影,因为人脑是智能的,但是机器需要做一个缝合,最终让几十个摄象头出来的画面,跟我们人眼看到的画面是一致的。从这个角度来看,大家可以看这个图,这个图上的这个位置就是每一个FOV没有重合的位置,就是我们俗称的视觉盲区,这是一个安全距离,但是进行虚拟现实影视作品拍摄的时候,要避开一个安全距离。一般来讲,不同的摄像机有不同的处理方式,安全距离也不相同,1.5米是比较宽泛的概念,如果进一步优化,大概75公分就差不多了。
第二个是拍摄的景深的问题,我们大家知道,为了让虚拟现实影视作品更逼近于真实,所以我们需要做的是什么,我们需要做让这个画面不太平面,最好是立体一点,做立体最好的方式可能就是做3D,大家知道做3D,尽管3D并不能非常好的还原真实,但是已经是很好的体验了,我们有那么几个参数值,第一是拍摄的安全距离,需要大于0.75米,在1到10米之间的时候,3D景深效果最高,这个时候也要稍微的说两句,如果有PGC想购买这个设备,大家一定要注意,衡量一个摄像机好不好的很重要的标准,就在于看3D呈现的效果,因为拍摄也好,缝合也好,可能会做假一点,但是这个3D的效果不会骗人。我们的专业款的摄像机用了21个摄象头,并且分为四层排布,密度和复杂度都很大,主要的目的是体现一个全覆盖的360度的3D。
如果在18米外,所有的视差都消失了,第一是看不清,第二也不可能有任何3D效果。第二个,布景和FOV,我们人眼在这个地方是必须清楚的成像,如果超过220度是看不见的,人眼是如此,所以我们需要根据我们人眼呈现出来的物理属性调整我们作品,我们分为四个象限,不同的象限里面占据不同的位置,不同的位置会有不同的突出主体,来保证我们整个拍摄过程中随便怎么转头,人在什么样的位置,我们看到的都是最精华的部分,因为视频是360度,但是我们的范围只有220度,如果不好好安排,很可能精华的部分是看不见的。
第三个是POV,就是我们的视角问题,很多人在谈到VR的时候,都会说,你们VR最大的好处是第一人称视角,所以,之前的一些影视作品,都是以第一人称视角的方式给大家展示。第一人称视角好不好,很好,我们之前拍传统的影视作品的时候,也有所谓的第一人称视角或者主观视角的方式拍摄,给人一种亲近感,但是现在随着好莱坞对这种虚拟现实影视作品的研究深入,很多的专家发表了一些论文,对这个提出了一些质疑,我们呈现给大家的一个360度的影视作品是不是一定需要是主观视角,如果一定需要主观视角,那我们做赛事直播的时候,是不是让每个运动员头上戴着一个摄像机,我们跟着他的眼睛看比赛。
这种质疑也是有道理的,某种程度来说,在我们看来,其实是什么样的视角,POV在哪儿不重要,重要的是我们怎么样为叙事服务,我们研究的如果是一个剧情片,是一个悬疑片,甚至是有点象游戏一样的,很显然我们的主观镜头是非常好的,因为他的代入感很强,但是如果是展示一个宏大场面,如果我们需要对我们的受众来说不是深入其中,而是更多以上帝视角看。
德国有一个大师曾经提过一个理论,这个VR应该是给大家看戏的感觉,也就是说你有一个离远一点的感觉。这两种观点都是有用的,并且是可以综合在一起使用的。所以,明白了POV,明白了叙事以后,才可以在整个故事情节的架构和镜头的布局给受众更好的感觉。现在虚拟现实很多人不知道什么好,预期头晕的看,不如对着视频网站看一些传统的节目,虚拟现实影视作品要想脱颖而出,更好的叙事,更好的视角,更精致剧本的排列和布局是非常重要的。
下一个,是很多人拍摄的时候很困惑的,我们日常生活中如果拍到哪个点,会对那个点进行非常细致的布局,比如打灯、布光,主角显得非常的漂亮,这是一个非常传统的动作,但是在VR就不行了,为什么?
因为是一个360度的全视角,你做任何的东西都会被受众感知,这个就很假,我们就有一个合二为一,先拍一半,再拍一半,最后再合到一起。这是航拍与天空修补,这是我们最新推出的无人机,价格万把块钱,但是性能非常好,我们做这款机器,首先是做了一款非常精致的金属壳,拿去跟大家沟通,结果被很多人诟病,不是因为不好,而是太好了,就是太重了,很多人说我们要航拍怎么办,我们就愕然发现,现在虚拟现实影视作品航拍是一个非常重要的点,想想也对,是以航拍的视角看这个世界是多么壮阔的情形。
我们就把重量降低到一公斤左右,可以上无人机,并且做了防抖。无人机拍摄的时候也有一个问题,我下面俯瞰特别好,但是一抬头就看到螺旋桨,还有收声的问题,这个也需要天空修补,这个修补的方式跟我们上一个压讲的内容特别的一致,就是只要在我们无人机上面再竖一个摄象头就可以了,通过后期的缝合技术,可以实时的用智能的方式进行一个自动的修补,从而达到一个非常好的效果。这就是为什么我们经常在Youtube上看到非常好的航拍作品,一点缝都没有,不知道是怎么拍的,这都是后期修补技术进行的。
说了这么多,回到我们今天的主题,我们今天讲智能硬件,我们知道,从虚拟现实这个概念开始,大家就不停的寻找一些更好的拍摄方案,寻找一些更好的硬件,比如最早的时候单反相机的拼合图象,静态的东西可以这么做,动态起来就很难,这时候就有了我们大家都熟悉的方法,包括去年涌现出非常多的摄像机的创业企业,我们发现这个里面还是有一些问题,这个问题可能生产企业体会不到,但是对于制作影视内容的公司来说,体会的非常清楚,所以我们把这个痛点大概分为了五类。
第一个是生产成本高,周期长,成本高先不说,我们就说周期长的问题,长在哪儿呢,主要是在后期,我们知道缝合这个东西是一个非常复杂的事儿,缝合的时候,其实需要每一祯的画面都对到,以前不知道多么难,后来我亲自试了几款软件,发现基本上一分钟的视频需要两小时。
第二个是无法同步启动拍摄,最早的时候一个国内运动相机公司推荐过他们的产品,相机性能是非常好的,但是最大的问题是每个相机的快门不能同步的控制,需要一个一个开,这样出来的效果是什么呢,就是我们经常看同一个作品的时候,会觉得这个画面有些卡顿,这个卡顿并不是机器的性能不好,而是每个摄象头没有办法做到同步,这就会出现一个卡顿,给人感觉不自然。
第三是3D景深的缺失,第四是拼接的质量不好,第五是培训成本太高。针对这些痛点,我们一一展示一下,不同步的是这样的,怎么都觉得不对,因为拼接是错位的,如果光照平衡不好,大家就会发现上面的那个情形,同一个场景下,不同相机的一个拍摄,如果我们没有做到多镜头的智能光照平衡,会发现第一很暗,第二,这个缝合点是有一个非常清晰的变化,这可能对于沉浸感来说,对于受众来说都是不能接受的。第三,怎么样能做到比较好的缝合,大家知道,刚刚也跟大家讲了,不同的摄像机镜头最终拼成一个360度的画面,还是有一些难度的。
一般是三种方式,一个是基于象位的方式,第二个是基于特征点的方式,现在比较主流的方法是基于光流的缝合方法,这是说光本身是带着非常强烈的信息而来的,那么根据光的像素点的稠密程度和明暗程度,我们找到了以后进行人工智能的匹配,出来的画面就一定是非常清晰和精准的。在全球范围内,美国最早是这样的,中国最早是我们公司开使用光流的方法进行拼接的计算,我们也会对光流的算法进行一些改善,进行一些优化,以确保他的缝合的效率是比较高的。
目前来讲,我们的缝合效率其实是可以达到实时同步的直播。这是我们公司的两款机器,趁机做下广告,左边这是专门做广电节目应用的,实时360度,输出8K的3D,大家有时候在一些大会直播中可以看到搞清实时的360度画面都来自于这个机器,下面这个是比较普及性的,4K的全景摄像机,这个可以适用于小的影视机构和PGC。当然,也有很多PGC购置了自己的设备,或者自制了自己的设备,但是首先于软件,出来的效率很低,我们提供了一个缝合主机服务,这个内嵌了我们的软件,可以适用于市场上大部分的机型。在VR拍摄当中,什么是虚拟现实影视作品,其实虚拟现实影视作品真的可能不简简单单是一个360度的视频,未来的虚拟现实影视作品会是一个什么样子?
我们研发新产品的时候,就拿出两个点跟大家分享一下第一是有自由度的,因为如果我们在一个虚拟现实的环境中,你只能定点观看的话,你可能觉得不好,如果你可以步入画面,可以交互,这样会更有趣一些,这是带来的自由度的概念,在有自由度的拍摄过程中,可以让观看者在3D的环境中上下左右前后的移动。第二是多维视角下实时动态的三维重建,通过摄像机进行三维重建已经不是一个很新的概念了,但是出来的效果不是很好,第一费用很高,第二,重建出来的模型往往不会让大家满意,我们大家都知道,现在我们都在讲一个TOF的概念,就是深度测距的意思,我们如果用多个深度的摄像机,并且可以深度测距的摄像机,就可以360度无死角的对需要重建的对象进行一个深度的信息采集,我们重建的速度可以达到每秒钟30桢以上,这个动态的重建可以无限逼真的还原,第二使这个重建的对象动起来,这对将来的全息制作会是一个非常大的福音。
今天时间关系就介绍这么多,如果大家想继续探讨,欢迎会后继续找我探讨,再次感谢主办方,谢谢大家。