这种系统可以预测未来,生成极为真实的
2022-10-16 14:03:51 来源:
(原标题:这种系统可以预测未来,生成极为真实的视频)
一种新的人工智能系统能够用静态图像生成短视频,这些视频能够模拟接下来发生的事,这就好像人类想象接下来将会看到的情景一样。
人类能够直觉地理解世界运作的方式。这使得人比机器更容易预测事件接下来将如何发展。一张静态图像中的物体可以用多种不同方式运动,或者和其他物体发生作用,这让机器很难做出类似的预测。不过,一种新型的深度学习系统(deep-learning system)创造出的短视频却能够让人信以为真。和真实的视频片段相比,在20%的情况下,人类更相信它创造出的视频。
该深度学习系统的发明者是麻省理工学院(MIT)的研究人员。他们让两种神经网络互相竞争,其中一个要区分真实的视频和机器创造的视频,而另一个则要创造出能够打败第一个系统的近乎真实的视频。
这种方法叫做“生成式对抗网络”(generative adversarial network,GAN),两个系统互相竞争,生成了愈发真实的视频。当研究人员让亚马逊的Mechanical Turk网络众包平台上征集的人员从两种视频中挑选真实的视频时,这些人在20%的情况下挑选了机器合成的,而不是真实的视频。
早期的问题
但是,刚刚入行的电影导演还不用担心这种机器会抢了自己的饭碗,因为这些视频的长度只有1~1。5秒,而且像素只有64 x 64。研究人员认为,这种方法最终能够帮助机器人和自动驾驶汽车在复杂的环境中导航,也能帮助它们和人类互动,或者让Facebook为视频自动添加描述内容的标签。
“我们的算法会预测未来,然后生成极为真实的视频。这说明在某种程度上它能够理解现在发生的事,”该研究的主要负责人,MIT计算机科学和人工智能实验室的博士研究生Carl Vondrick表示,“我们的研究是一项振奋人心的进步,它说明计算机科学家能够让机器具有更高级的情境理解能力。”
研究人员表示,这种系统还可以在没有人指导的情况下进行学习。这意味着该系统进行训练所用的200万个视频(大约等于一年的长度)并不需要人类的标记。这能极大地减少训练所需的时间,并能让其适应新数据。
在西班牙巴塞罗那召开的神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)上,研究人员展示了他们的研究成果,解释了他们是怎样用海滩、火车站、医院和高尔夫球场的视频对该系统进行训练的。
“我们发现,早期的原型系统面临的难点在于,模型预测视频的背景将要变形扭曲,” Vondrick表示。为了克服这个问题,他们调整了设计,让系统学习独立的静态背景模型和动态前景模型,然后再把它们合起来制成视频。
AI导演
用人工智能(AI)来从无到有地创造视频,在MIT的这个团队之前也有人尝试过。但是之前的方法往往逐帧逐帧地构造视频,这样容易让错误从早期开始逐渐累加。他们的新方法则是同时处理整个场景,一般来说会一次性产生32帧视频。
GAN的发明者,非营利机构OpenAI的科学家Ian Goodfellow表示,这个领域的早期研究并不能产生和现在这个方法一样清晰的图像和动作。但是他补充道,谷歌旗下的DeepMind AI上个月也公布了一种新方法,这个方法叫做视频像素网络(Video Pixel Networks,VPN),它也能产生清晰的图像和动作。
“和GAN相比,VPN更容易训练,不过生成视频所花费的时间也更长,”他表示,“VPN每次生成单个像素,而GAN却能同时生成很多像素。”
Vondrick也指出,他们的方法主要利用的是更加难处理的数据,比如从网络上随便搜集的视频;而VPN的训练视频是经过特别设计、内容特定的视频,这些视频的内容主要是跳动的数字或是机械臂。
不过这些研究人员表示,目前的结果还远不够完美。前景中的物体常常变得太大,而人类在视频中却常常会变成模糊的一团。有时候场景中的物体会无端消失,而有时候却会出现一些不知从哪儿冒出来的东西。
“这个计算机模型对世界是没有任何预设的,它必须学习人的样子、物体移动的方式和结果,”Vondrick表示,“我们的模型还没有完全学成。如果能扩充它理解如物体之类的高级概念的能力,那么生成的视频质量将会显著提高。”
Vondrick表示,未来的另一个挑战是生成更长的视频,因为这就需要系统花更长的时间去追踪场景物体之间的更多关系。
“要完成这一任务,可能需要人类的输入来帮助系统理解场景中的元素,因为让它自己学习会比较艰难。”
撰文Edd Gent
翻译徐寒易
“半机械人”大脑电极有望帮助瘫痪者再次行走
网易科技讯2月23日消息,据国外媒体报道,美国的一个研究人员团队利用玻璃碳而非常用的铂打造出信噪比提升两倍、光滑度提升10倍的
2022-10-16 12:37
Jawbone产品高层再出走手环元老前途扑朔迷离
在大约四五年前,Jawbone凭借自己的UP手环成功让世界认识到了这个音响公司,从那时起,世人对其印象更多是运动手环生产商,尽管其已在音响
2022-10-15 17:50
特斯拉承认黑人员工比例不足:公司仅10%员工是非裔
当地时间上周五,美国电动汽车制造商特斯拉发布首份多样化、公平和包容性影响(The Diversity, Equity and Inclusion Impact)报告
2022-10-15 05:37
透视城市“生命线”MapGIS地下管线三维建模工具
(原标题:基于UE4 的三维GIS游戏引擎 ---M3D在游戏引擎上的应用) 城市是繁忙的,昨夜的浮尘还未落定,新一天的晨曦又接替了灯光
2022-10-15 01:30
爱芯智眸®AI-ISP正式发布:暗光环境成像性能佳,加快智能消费场
(原标题:爱芯智眸®AI-ISP正式发布:暗光环境成像性能佳,加快智能消费场景应用) 作为一年一度的AI行业顶级盛会,2022世界人工
2022-10-14 22:50
无人驾驶技术将终结疲劳驾驶?现在看来还早的很
(原标题:Autonomous cars could end drowsy driving, but don’t hold your breath) 网易科技讯 11月20日消息,据
2022-10-14 15:54