仍是可以给花草、天气变脸 | ECCV

betway必威体育西汉姆联 14

仍是可以给花草、天气变脸 | ECCV

| 0 comments

原标题:摄像换脸新境界:CMU不止给人类变脸,还可以给花草、天气变脸 | ECCV
2018

圆栗子 发自 凹非寺

betway必威体育西汉姆联 1

把生机勃勃段摄像里的面孔动作,移植到另风姿洒脱段录制的支柱脸孔。

大家莫不曾经习惯如此那般的操作了。

betway必威体育西汉姆联 2

就算目标主角并不是全人类,大致也算不上优质。眼睛鼻子嘴,最少构件齐全

那么,如何的迁徙才可走出那一个范畴,让那几个星球上的万物,都有机遇领取摄像改造的恩情?

betway必威体育西汉姆联 3

按着你想要的节拍开花:中年老年年神情包利器

betway必威体育西汉姆联,来自卡耐基梅隆大学的团伙,开垦了自行化身本领,无论是花花草草,依旧云兴霞蔚,都能自如转变。

betway必威体育西汉姆联 4

云,也变得紧急了

莫不是满怀超越大前辈Cycle-GAN(来自朱俊彦公司)
的象征,团队给自己的GAN起了个要命环境爱戴的名字,叫Recycle-GAN

这位选手,入选了ECCV 2018

Recycle之道,时间明白

Recycle-GAN,是一只无监督学习的AI。

不成对的二维图像数据,来锻炼录制重定向(Video Retargeting)
并不易于:

一是,若无成对数据,那在摄像化身的优化上,给的限制就相当不足,轻巧发生不佳局地非常的小值
(Bad Local Minima) 而影响生效能果。

二是,只依赖二维图像的空间消息,要读书录制的风格就特别不便。

betway必威体育西汉姆联 5

您开花,作者就开放

本着那多少个难点,CMU团队建议的方式,是利用时光音讯(Temporal
Information) 来施加更加多的限量,不香港行政局地比不大值的场景会优惠扣。

其它,时间、空间新闻的铺垫食用,也能让AI更加好地球科学到录像的风格特征

betway必威体育西汉姆联 6

时间音讯:进程条撑不住了 (误)

根本的是,录像里的小运音信探囊取物,无需寻找。

下一场,看一下Recycle-GAN,是何许在两段摄像的图像之间,构造建设映射的。

betway必威体育西汉姆联 7

四人选手比较一下

Pix2Pix是有成对数据的;CycleGAN靠的是循环风姿洒脱致性 (Cycle Consistency)
;RecycleGAN用的是录制流的日子新闻

往往的,比CycleGAN的进度还要费劲。好像终于体会到,Recycle-GAN这几个名字是有道理的。

对阵损失(Adversarial Loss) ,朱俊彦集团的循环损失(Cycle Loss)
一再损失(Recurrent Loss)
,以致CMU团队自身造的“再”循环损失(Recycle Loss)
都用上,才是强盛的损失函数

功能如何?

就像独有和CycleGAN比一场,才知道时光新闻好不佳用。

第一局,先来拜见换脸的功效:

betway必威体育西汉姆联 8

RecycleGAN用前美利坚总统生成的川川,除了嘴唇,脸的角度也在随后变化。而中等的CycleGAN,唯有嘴的动作相比明显。

第二局,你见过兔南充菜开花的表率么:

betway必威体育西汉姆联 9

当RecycleGAN的小金英,学着黄花的动作,产生茂密的饭团,CycleGAN还在日益地盛放。

小心,团队是预先把两种草,从初开到完全凋谢的流年调成风度翩翩致。

除此之外,再看云卷云舒 (片头也现身过) :

betway必威体育西汉姆联 10

原来是悠闲地移动。

和喷气平日的云,学习了后头,就收获了急躁的点子。

betway必威体育西汉姆联 11

这样一来,改换天气就简单了。团队说拍影片的工本,能够用如此的情势降下来。

代码也快来了

betway必威体育西汉姆联 12

CMU的化学家们说,大家连忙就能够看出代码了。

然则在这里在此以前,大家照旧有无数能源能够欣赏。

组织在档案的次序主页里,提供了增加的变迁效果:

杂谈请至此处调查:

末段吐个槽

原来是日落:

betway必威体育西汉姆联 13

看了黎明(英文名:lí míng卡塔 尔(阿拉伯语:قطر‎事先的摄像,就接着变了日出:

betway必威体育西汉姆联 14

而是,日落变日出那样的操作,直接倒放倒霉么?

—回来和讯,查看愈来愈多

小编:

相关文章

发表评论

Required fields are marked *.


网站地图xml地图