读唇辨音算什么:我看着一袋薯片就能看出你在说什么
2022-10-20 17:51:27 来源:
有些具有超能力的人能够看口型猜出对方讲什么,当然这样的人已算是凤毛麟角。但是如果说有人能够在隔音的环境下看着一袋薯片还原出你在说什么,你信不信?
你到底在说什么?! 这不是比对牛弹琴还离谱的事情吗?
MIT、微软及Adobe的研究人员就做成了这么一件看似超级离谱的事情。其奥秘是研究振动。通过分析视频中声音在物体身上产生的微小振动,研究人员能够还原出环境里的声音信号。在其中一组实验中,研究人员在隔音的情况下,通过15英尺开外的高速摄像机拍摄薯片袋的振动还原出了一段讲话音频。除了薯片袋以外,研究人员还在铝箔、装水的水杯、甚至盆栽植物上面进行了试验,均收到了良好的效果。
其原理在于,声音传播到物体上会引起振动,而这种振动的运动可以创造出一种非常微妙的视觉信号,这种信号是肉眼无法识别的。但是计算机却可以捕捉到,其前提是以高于音频的频率采集视频—试验中,研究人员使用的高速摄像机的FPS(每秒帧数)达到了2000~6000(普通智能手机拍摄视频的FPS一般为60,最高端的商业高速摄像机则可达到100000FPS)。
当然,这种高速摄像机也不是普通人所能拥有的。但是研究人员随后又用普通数字摄像机进行了试验。通过利用大多数摄像头传感器的一项怪异的设计,研究人员成功地以60FPS的频率推断出高频振动信息。尽管这种还原度没有高速摄像机那么好,但是也足以识别出有几个人讲话、讲话的是男还是女了,甚至已经能掌握到足够精确的讲话者的声学特征了。
显然,这种能力在法律取证和刑侦等方面拥有广泛用途。反过来,鉴于不同物体/对象对声音具有不同的振动模式,这种特性又可以催生出一种新型的成像技术。科学的有趣之处正是在于,一开始你研究它是因为酷,但是别人却不断想出新的用途。
题图:MIT
[本文参考以下来源:newsoffice。mit。edu]
ios16.1rc更新内容功能详情ios16.1rc更新了什么
ios16。1rc在10月20日凌晨正式推送,rc版本也就是准正式版,带来了iCloud共享照片图库、第三方App的实时活动等,那么ios16。1rc更新了什么
2022-10-20 12:30
Win10最新版本22H2更新发布版本号Build19045
非常低调地,微软今天宣布,正式开始分发Windows 10 2022年度更新(Windows 10 version 22H2)。 有些让人郁闷的是,微软并未详细
2022-10-20 09:58
ILMxLAB发布星战黑武士VR预告片
在这周早些时候,ILMxLAB正在开发最新的《星球大战》虚拟现实体验,但不是《Trials on Tatooine》。《Trials on Tatooine》可以让你挥
2022-10-20 07:58
明基TW500ST投影机新品上市,为你解锁向往的居家生活
(原标题:明基TW500ST投影机新品上市,为你解锁向往的居家生活) 你以为的居家生活!观影追剧不间断,游戏畅玩放肆嗨,间或抽点空跟
2022-10-20 06:03