七维科技CEO殷元江:VR拍摄已不再是难题
2022-10-18 16:52:33 来源:
MicrosoftInternetExplorer402DocumentNotSpecified7。8磅Normal0
网易科技讯7月6日消息,由网易科技和网易新闻学院联合举办的第五季“网易开物沙龙”今日在北京师范大学京师大厦召开,本次沙龙的主题为“虚实之间:如何用VR技术讲好故事”。七维科技CEO殷元江现场发表了关于VR技术方面的演讲。
殷元江表示,根据艾瑞网的数据统计,VR影视的前景比VR游戏更容易被大众推崇。而传统的全景视频拍摄非常繁琐,没有预览,结果只能靠拍摄人员的经验进行判断。
他介绍了传统的8大拍摄步骤,而如今随着技术的发展,全景拍摄已经完全不用如此繁琐的过程。全景拍摄、实时全景缝合、实时全景特效、云端转码、多平台观看,从制作到观看,一气呵成。Go!Pano全景制作流程可以消除误拍风险,加速全景制作流程。
技术只是锦上添花的基础,内容创意才是VR的核心,殷元江表示。七维科技也希望能增加更多新鲜血液,共同推动VR的发展。(冉冉)
以下为殷元江在网易开物沙龙中的演讲实录:
殷元江:大家好,老师同学好,我是七维科技的殷元江。今天非常感谢网易和北师大提供这样一个机会,可以跟大家分享一些对于这个行业,特别是对内容这块的想法和观点。今天讲的一个主题其实跟我们公司的技术和产品有关,就是叫Go!Pano助力VR UPGC团队迅速成长。我们公司是一个技术公司,我们产出的是内容生产工具,特别是针对VR这一块,从2014年开始,公司内部开始研发,产出一套工具的解决方案,目前产品的名称和产品的解决方案叫Go!Pano。
关于VR的内容,刚才奇幻的王总也讲了,有很多的形式,我们自己也做了一些分类,包括来自第三方的数据收集公司。目前来说,在市场上比较流行的大概有这些形式,除了游戏之外,其实其他的都是视频的内容,包括比赛的直播、教学类的、社交类的、视频和影视视频方面的内容。游戏是会吸引相当一部分的游戏玩家,但是我今天讲的主要是关于视频的内容,特别是线上的分发,目前视频其实是受众面更广,游戏,目前VR重度游戏都集中在线下体验店铺由于移动端和一体机,目前GPU承载的能力非常有限,所以VR,从我自己的标准来说,我不愿意玩线上的游戏,我更愿意玩主机的VR游戏。
传统设备拍摄全景视频的步骤,这是大概的简单的步骤,包括可以多机位、通过传统视频剪辑和视频拼接,然后在这里输出动画。其实跟制作传统视频没有什么区别,如果把它当成全景视频的方式来拍摄,只是在前期拍摄的时候用的不再是传统的微电影的相机或者是一个单独的机位。我们在拍摄的时候可能是用一个,网友可以,就是线下很多内容生产团队和个人爱好者可以通过各种各样的产品、各种相机组合来生产全景视频的方式,再进入到后期合成软件里面。目前市面上很多的后期合成都是有很多的选择,相对来说嵌入到传统的流程里面,它们多出来的步骤主要是拍摄的设备以及在早期的软件里面。但是它在拍摄的时候其实存在一些问题,如果大家不是用便携设备,而是用相对专业一点的设备,至少是运动相机这种拍摄方案的话,可能在当时拍摄的过程中可能是没有预览,也可以通过一些软件来得到预览。
这是七维,七维的核心是软件,我们做了实时缝合的算法,我们可以支持从两幕到十几幕不等的实时的相机镜头的风格,实时拍摄,其实一个软件的核心,外部支持的的是可以从最简单的两幕的相机一直到四幕、八幕不同的组合。乐视体育这个月会推出自己的运动相机,运动相机里面配合的拼接的支架方案就是七危的解决方案。以实时缝合的算法提供出来的整套的软件解决方案,包括用户可以自定义和选择自己用哪类拍摄硬件来进行直播或者是拍摄录播,针对画质高的可以选择Sony α 7SII*4的高画质影象,如果是针对低成本的,也支持小蚁或者乐视即将出的运动相机,这块可以支持的硬件拍摄方案是非常多的,这一块是第一个环节,就是全景拍摄。
我们实现的是实时缝合,实时缝合最大的功用在于直播,在录播的情况下给大家提供一个便利,可以直接预览到现在在拍摄的内容,分屏预览,我们之前也接触很多内容团队,他们在用定制性比较强的硬件拍摄方案的时候,做不了实时预览,我们自己配合着这种相机,我们出的是相机的组合和支架,并且包括我们对这个相机标定的配置文件,大家拿到我们的配置文件和软件之后可以实时进行缝合和预览,可以在拍摄的时候看到当时的过程是什么的。这是在直播中,它的好处是减少了在,如果你是在分幕预览的时候,很多时候是盲拍,只能看着几个镜头,看大概拍到什么或者避开什么,实时的时候可以减少很多误拍,可以提高内容产出的成功率直播的情况下,可以在直播的时候实时叠加全景特效。这块其实是七维以前的一个产品,是一个视频的实时渲染引擎。我们之前用这个渲染引擎做过很多视频,七维在2012年,欧洲杯的《豪门盛宴》,在广播级的电视直播中,当时在国内第一个实现的就是实时直播中的动画和虚拟的球员,当时赵斌(音)老师和虚拟的人物可以实时互动交流。这个视频渲染在广电行业、影视行业得到比较宽泛的应用,包括现在很多传统电视节目里面用了很多,有2014年的世界杯、去年的春晚,包括今年的跨年晚会。视频里面增强现实应用很多,包括大家看的很多,中国娱乐场、星光大道等等很多传统节目。在以前非常大的视频渲染引擎上,做了全景的支持。这样可以匹配到我们自己的实时缝合的算法上,我们可以以实时的效率来植入三维虚拟的内容或者视频内容,或者第三方的信号,都可以出到全景视频、VR视频里,可以丰富视频产出和交互程度。这个意义在于,对于传统的视频来,在传统视频里面,或者快速生产的传统视频里面,在线包装或者虚拟程度的手段带来的好处有几个方面,一个是动态的植入广告,另外一个是可以动态和丰富地添加特效。比如现在比较流行的直播互动,线下的网友或者线下的观众可以在传统视频里面摇一摇,直播过来摇一摇,跟直播内容、视频内容进行一定程度的互动。在VR视频里面,我们也非常轻松、非常容易地提供出来这种形式。比如在VR视频的播放器里面,大家用眼前的跟踪点可以跟VR内容有一些虚拟的内容进行互动。在一定的基础,在初级阶段可以做到VR直播跟内容上的互动,这是实时的全景特效。
之后提供的是整套的解决方案和整套的技术。在内容源这一侧,支持各种各样的拍摄方案,从最高的,非常昂贵的专业级别的拍摄设备,到低端的运动相机或者更低一级的设备,针对秀场以上、专业直播以上的可以针对不同的方案,我们有实时的全景特效,并且做到实时VR直播的实时互动,之后有一套云编码平台。我们可以支撑自己的视频流,并且在VR视频里面,我们加入了一些特殊的编解码的算法,可以在正常的编解码的基础上节省30%。VR视频的基础是一个全景视频,全景视频实际上尺寸是1:2的尺寸,在整个的编解码过程中,我们把周边的一些,比如说是被挖深了,即便是比较大的像素点都集中在一个像素点上,大家在分发、直播、点播的过程中可以节省大量的带宽。
另外是播放器。播放器我们也做了相当一部分的优化,在各个移动平台上都做了一定的优化,并且我们的播放器也做了一定的定制开发,在播放器端可以跟内容源端形成一定的互动,在初级程度上(互动的第一阶段)网友在观看VR直播或者VR视频内容的时候,他知道我在这个方面有一个虚拟的抽奖器或者是拉票器。他用视线悬停在这儿的时候就可以参与传统节目里面抽奖或者互动的方式,可以传输一部分的内容,比如自己的评论到VR场景里面,大家可以多对一跟内容源部分进行互动。也支持多平台的观看,现在我们支持H5页面,直播也支持H5,这是国内比较少的公司可以做到这一点。
Go!Pano刚才也介绍了,是一整套解决方案,我们自己在软件层面也是希望能够帮助很多的内容生产团队和内容生产者,包括大的团队和小的团队共同来推进内容的生产。因为七维不是内容公司,但是我们是内容生产工具,包括内容生产分发工具和播放工具提供商,我们是从端到端的解决方案的技术公司。直播和录播我们可以帮助合作伙伴,直播的时候,除了我们自己VR的播放云平台之外,我们也支持各家,包括分发的时候支持阿里云、乐视云、金山云,包括七牛。在直播和录播的时候都可以来推送给很多的受众,包括H5的播放器这一端的时候,其实在微信里面能有一个大面积的转发的形式其实还是用H5直播的方式,还是在微信里面能够得到大量的转发。
这是刚才讲到的我们的直播系统和云平台的系统,它是实时流媒体直播的系统,大家可以边拍边直播,内容生产可以非常快。我们现在可以实时地编码成FLV、m3u8的格式,各个平台可以在播放端。CDN方面我们也在跟各家合作,来推动云平台的合作。在制作这一块,如果在生产原文件方面,在拍摄出来的全景视频也可以通过云端流媒体转码系统可以生成各种最终想要的格式,不局限于MP4或者是,任何一个想要的文件格式都可以。这是一些例子,我们在针对不同的内容等级或者内容形式的时候,会提供一些不同的,相当于直播或者是内容制作的方式,这是针对秀场级别的,就是娱乐秀场级别的方案,刚才在外面有一个小的展示。拍出来的主播是立体的,我们可以实时抠像,并且叠加在360度的三维场景里面,用户可以和主播进行非常,可以有趣地交互,还是实时地跟主播交互、送礼物,或者参与房间内的互动。
这是我们跟电影学院、泰华(音)合作的小型VR短片,我们提供的是一个Sony α 7SII*4,好处是画质足够好,并且加设了一个飞猫,这是实时预览,这是我们的软件界面,可以在拍摄的过程中看到所有的走位和实时合成的好处。这样的原素材在进入后期的时候,导演在当时,虽然看不到最终的合成画面,可以看到一个初级的合成画面,可以想象一下自己的空间走位和减少一些后期的工用成本。当时输出的都是4K级别的信号。这是VR视频的展开图,这是之前给《音乐风云榜》做的一场直播,在直播的过程中可以看到在全景视频里面可以植入在空中飞行的比较虚幻的船或者一朵花,它的好处,当时没有做任何互动,只是在为某些环节或者某一个歌曲来添加一些特效,就跟传统直播或者传统的视频是一样的,就是来叠加一些视频效果,大家看到的VR视频不再是干巴巴的视频场景。这是《大鱼海棠》当时直播的效果,这是3月份《大鱼海棠》早期的发布会,这是展开的一个画面,这都是实时渲染的画面。上面这个是通过视频渲染植入的水体和一个水球,游下来的是一条《大鱼海棠》里面的大鱼,它叫鲲,可以游到观众的面前。
VR视频,我们提供的不止是技术上的支持,我们也是需要跟各个内容团队和,无论是大的还是小的内容生产公司一起协作,因为需要的技术只是锦上添花的基础,我们可以提供的方案非常多,我们提供的技术支持也非常多,但是核和内核还是内容创意,内容创意是内容本身的一个内核,它的最终的竞争力还是来自于这儿,也是希望能够跟各方的内容公司或者是感兴趣的爱好者一起合作,生产出更多更好的内容。七维也是不遗余力地生产内容生产工具,包括更新的VR内容生产工具。
再次感谢网易和北师大今天提供这么一个机会分享。我们也在跟学校,也是希望之后跟北师大形成合作,之前我们跟电影学院、传媒大学形成合作,来培养学生对VR产出和技术的了解。因为我们是技术公司,还不是内容生产公司。另外,也会推出一些相关的培训和教育板块,来推动学生对各种VR拍摄方法和方式的了解,行业信息可以共享,也是感谢同学今天过来参加这么一个交流。这边是我们视频制作的交流群,感兴趣的同学可以加入这个群。
后面是《鬼吹灯》,除了七维提供技术支持以外,我们还有很大的IT资源,针对特别好的内容合作方和合作团队,我们也有先发的一部分的IP资源的支持,这些是我们在跟进的VR内容,这些都是传统的电影,配合传统影视这一块的时候,我们会推出相应的VR版本,目前有的是《嫌疑人X》,然后是《龙岭迷窟》,是一个新晋导演做的。七维不是制作公司,也是希望跟各个内容生产公司和制作公司产生协同和合作。
谢谢大家!
艾瑞:看好分众收购好耶并购推动网络广告发展
中国网络营销市场前景看好2006年中国整体广告市场继续高速发展,电视、广播、报纸、杂志广告继续增长,其中网络广告表现最为突出。据iRese
2022-10-18 07:07
滴滴关联公司申请滴滴二手车相关商标
天眼查APP显示,近日,北京嘀嘀无限科技发展有限公司新增商标信息,名称为滴滴二手车。国际分类为35-广告销售、36-金融物管,商标状态为等
2022-10-16 22:39
Facebook被员工指控歧视:技术岗位黑人比例仅1.5%
网易科技讯 6月3日消息,据国外媒体报道, 社交媒体公司Facebook的一名黑人员工当地时间周四提出了一项指控,声称该公司在员工多样性和
2022-10-15 05:38
深圳推出“智能行人过街系统”让你闯不了红灯
(原标题:深圳推出智能行人过街系统 让你闯不了红灯) 深圳交警在留仙小学附近的留仙大道某红绿灯路口,开始试点智能行人过街系统。
2022-10-14 14:18
人类大脑进化?让AI成为人脑的“协处理器”
【网易智能讯 12月28日消息】人工智能(AI)不仅可以代替卡车司机,或在国际象棋中击败人类,它们还有更大的潜力。AI或许可让人类从
2022-10-13 07:55