快捷搜索:  as  MTU2MzEzMTkxMg`  test

“AI换嘴”了解一下!斯坦福新研究为视频人物随

在电视和片子的拍摄中,演员在演出中常常会不小心犯下一些小差错。对付影片的剪辑师而言,假如不想要花费巨资从新拍摄,那么就只能吸收这些瑕疵。

那么我们可以想象一下,剪辑师是否能经由过程翰墨剧原先从新改动视频。这个历程简单地就像日常平凡处置惩罚word文档那样,添加你想要的内容,删除多余的内容,以致完全从新排列拍摄的影片,让它看起来就像一个全新的视频那样,毫无瑕疵。

一批来自斯坦福大年夜学、马克斯普朗克信息学钻研所、普林斯顿大年夜学和Adobe Research的钻研职员组织了一个团队,他们创建了一种算法,它能编辑头部特写的对话视频——即视频中的讲话人主要呈现肩膀以上的部分。

对付视频剪辑师和发行商而言,这个钻研成果会异常有用。但也有人担心这种对象会影响网上视频和图片的可托性。钻研职员也针对这些对象提出了一些应用准则,提示不雅看者这些视频受到过改动。

“不幸的是,这种技巧永世会招来造孽分子的留意。只管如斯,它能带来更多创造性的视频编辑和内容创作利用,是以也是值得的。”斯坦福大年夜学博士后Ohad Fried说道。

这种利用经由过程全新的脚本从各类视频片段中提取讲话时的唇部动作,并采纳机械进修将它“移植”到目标视频中,让不雅众看起来更自然。换句话说,它便是让“唇部运动”和文本同步。

“从外面上看,这些视频异常完美,它不再必要从新录制。”Fried说道,他以第一作者的身份颁发了一篇相关钻研的论文,今朝该论文已经上传至论文预印本网站arXiv上。该项目始于两年前,当时Fried还只是普林斯顿大年夜学谋略机科学家Adam Finkelstein部下的一名钻研生。

一旦演员在演出时掉言了台词,剪辑师只必要从新改动一下剧本台词,这个利用会自动找到视频中对应的片段,并搜索该视频中其他的台词,从新组装这段语音。换句话说,这便是在重写视频的台词,就像我们改动文档中拼错的单词那样。该算法必要原始视频为素材,改动光阴约为40分钟。

在此之后,这个算法会从其他视频中探求人物讲话时的嘴部动作,天生新的视频。

为了让视频看起来加倍自然,该算法还能让运动参数的变越发倍平滑,并进行3D动画衬着。着末,它会经由过程一种名为Neural Rendering的机械进修技巧前进视频的仿真度。

在138位介入者的测试里,该团队的编辑结果中有60%被评为“逼真”。也便是说加工后的视频和原始视频异常像,但Fried表示还有很大年夜的提升空间。

您可能还会对下面的文章感兴趣: