移植到另一段视频的主角脸上yzc888

来源:http://www.dzz68.com 作者:程序员在线 人气:153 发布时间:2019-08-15
摘要:原题目:摄像换脸新境界:CMU不唯有给人类变脸,还能够给花草、天气变脸 | ECCV2018 圆栗子 发自 凹非寺 把一段录像里的脸面动作,移植到另一段录制的主演脸孔。 世家只怕曾经 习惯

原题目:摄像换脸新境界:CMU不唯有给人类变脸,还能够给花草、天气变脸 | ECCV 2018

圆栗子 发自 凹非寺

yzc888 1

把一段录像里的脸面动作,移植到另一段录制的主演脸孔。

世家只怕曾经习惯如此的操作了。

yzc888 2

纵使目的主演并非全人类,大约也算不上美貌。眼睛鼻子嘴,至少零件齐全

那正是说,怎么样的动员搬迁才可走出这一个局面,让这么些星球上的万物,都有时机领取录像改动的雨滴?

yzc888 3

按着你想要的音频开花:中年天命之年年神情包利器

来源卡耐基梅隆高校的协会,开辟了机关变身技艺,不论是花花草草,依然万千气象,都能自如转变。

yzc888 4

云,也变得热切了

或者是满怀超越大前辈Cycle-GAN(来自朱俊彦公司) 的意味,团队给笔者的GAN起了个可怜环境保护的名字,叫Recycle-GAN

那位选手,入选了ECCV 2018

Recycle之道,时间知道

Recycle-GAN,是一只无监察和控制学习的AI。

不成对的二维图像数据,来练习录像重定向(Video Retargeting) 并不便于:

一是,若无成对数据,那在录制变身的优化上,给的限制就相当不足,轻便生出倒霉局地比非常的小值 (Bad Local Minima) 而影响生效能果。

二是,只依附二维图像的空间信息,要学习录像的风格就很难堪。

yzc888 5

你开花,笔者就开放

本着那七个难题,CMU团队建议的主意,是运用岁月信息(Temporal Information) 来施加越来越多的限制,倒霉局地相当小值的气象会回降。

除此以外,时间、空间新闻的映衬食用,也能让AI更加好地球科学到录像的风格特征

yzc888 6

时刻新闻:进程条撑不住了 (误)

根本的是,摄像里的时刻音信举手之劳,无需寻觅。

下一场,看一下Recycle-GAN,是哪些在两段录制的图像之间,创立映射的。

yzc888 7

四位选手相比一下

Pix2Pix是有成对数据的;CycleGAN靠的是循环一致性 (Cycle Consistency) ;RecycleGAN用的是摄像流的时刻音讯

反复的,比CycleGAN的经过还要辛劳。好像终于感受到,Recycle-GAN那个名字是有道理的。

对峙损失(Adversarial Loss) ,朱俊彦集团的巡回损失(Cycle Loss) ,频仍损失(Recurrent Loss) ,以及CMU团队自身造的“再”循环损失(Recycle Loss) 都用上,才是强硬的损失函数

成效如何?

就如唯有和CycleGAN比一场,才知道时刻音信好不佳用。

第一局,先来拜见换脸的意义:

yzc888 8

RecycleGAN用前美利坚总统生成的川川,除了嘴唇,脸的角度也在随后变动。而中等的CycleGAN,独有嘴的动作相比较鲜明。

第二局,你见过小金英开花的榜样么:

yzc888 9

当RecycleGAN的兔娃儿菜,学着黄花的动作,形成茂密的饭团,CycleGAN还在慢慢地绽放。

专注,共青团和少先队是优先把两养花,从初开到完全凋谢的大运调成一致。

除开,再看云积云舒 (片头也油不过生过) :

yzc888 10

本来是悠闲地活动。

和喷气一般的云,学习了今后,就获得了急躁的节奏。

yzc888 11

那样一来,退换天气就轻松了。团队说拍影片的花费,能够用那样的形式降下来。

代码也快来了

yzc888 12

CMU的物教育学家们说,我们异常的快就能够看来代码了。

而是在那以前,大家依然有非常多财富得以观赏。

团队在类型主页里,提供了增加的调换效果:

舆论请至此处考查:

末尾吐个槽

原来是日落:

yzc888 13

看了黎明(英文名:lí míng)事先的录像,就接着变了日出:

yzc888 14

可是,日落变日出那样的操作,直接倒放倒霉么?

—回到博客园,查看越来越多

主要编辑:

本文由ca888唯一官网-ca88手机版会员登陆发布于程序员在线,转载请注明出处:移植到另一段视频的主角脸上yzc888

关键词: 视频 开发 人类

上一篇:乔布斯出生

下一篇:没有了

最火资讯