“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

若安丶 · 2021-03-03 14:11:38 ·产经

这两天最让人上头的神曲是什么?非“蚂蚁呀嘿”莫属呀!

这个仅用一张照片、一段视频就能做的魔性视频,这两天在某博、某抖和某手上疯狂刷屏。傲娇的表情配合洗脑的音乐,再加上各界大佬的倾情演绎,让人看过一遍就再也忘不了,真可谓“失眠时,没有一只蚂蚁是无辜的。”

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

“蚂蚁呀嘿”火爆全网,各式各样的制作教程也随之而来。其中,最方便的莫过于用PaddleGAN(百度飞桨的生成对抗网络工具套件)来实现。它不仅完全免费,还省去了下载Avatarify(最新消息,该App已被下架)和加速器等多个软件的麻烦,让你无需下载和频繁切换,三步就能生成自己的“蚂蚁呀嘿”小视频。

接下来就给大家介绍两种制作方法,并揭秘背后的核心技术原理。

第一种:“小白版”教程

首先,大家可以点击下方链接,进入AI Studio(人工智能学习与实训社区)中的【天下第一AI武道会-Deepfake换脸】项目,“基础版”或“高级版”两种运行环境皆可:

https://aistudio.baidu.com/aistudio/projectdetail/1189026

第二步是备好素材:一张源图片和一个驱动视频。源图片就是你想让他唱歌的照片,只保留人物脖子以上部分,尺寸要求256*256,图片文件名改为【01. png】。驱动视频则是单人唱着“蚂蚁呀嘿”的小视频,可以从网上直接搜索下载,视频文件名改为【02. mp4】。(注意png和mp4都是小写)

第三步上传图片和视频,并点击“运行全部”,然后静候几分钟即可。待页面左侧出现名为“export. mp4”的文件,即为运行成功,专属于你的“蚂蚁呀嘿”就这样出炉啦。

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(第一步:在AI Studio中搜索并运行项目)

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(第二步:备好一张源图片和一个驱动视频)

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(第三步:上传素材并运行全部)

第二种:“进阶版”教程

因为有些同学不只想做“蚂蚁呀嘿”,还想自己录制面部动作,生成任意题材的花样视频,甚至是开发Avatarify这样的App或小程序,走上“致富之路”,而这通过飞桨也都能实现。

飞桨已将蚂蚁呀嘿的核心技术开源于PaddleGAN套件中,在AIStudio平台实现了完整的在线项目【PaddleGAN表情动作迁移进阶版】,大家可以根据需要,使用AIStudio的免费算力,实现更多脑洞大开的动作迁移效果!

https://aistudio.baidu.com/aistudio/projectdetail/1586056

进阶版制作起来同样分为三步,并都是在AIStudio平台上实现,这里继续以“蚂蚁呀嘿”为例进行介绍。首先,大家可以下载PaddleGAN代码。

!git clone https://gitee.com/PaddlePaddle/PaddleGAN

!pip install -r requirments.txt

接下来,使用表情迁移命令。

命令:

!export PYTHONPATH=$PYTHONPATH:/home/aistudio/work/PaddleGAN && python -u tools/first-order-demo.py  --driving_video ~/fullbody.MP4  --source_image ~/秃头乔哥.png --relative --adapt_scale

只需在如下命令中的driving_video参数和source_image参数分别换成自己的视频(蓝色部分)和照片路径(黄色部分),即可运行得到“蚂蚁呀嘿”小视频。

·  driving_video: 驱动视频,模型将学习视频中人物的面部表情

·  source_image:源图片,模型将驱动视频中的人物表情迁移至源图片的人物上

这个视频目前还没有配乐,所以还需要第三步,为视频配上声音。

运行以下命令即可生成最终的“蚂蚁呀嘿”专属视频啦(本例中的视频文件名为export.mp4)!

videoclip_1 = VideoFileClip("/home/aistudio/fullbody.MP4")

videoclip_2 = VideoFileClip("./output/result.mp4")

audio_1 = videoclip_1.audio

videoclip_3 = videoclip_2.set_audio(audio_1)

videoclip_3.write_videofile("./output/export.mp4", audio_codec="aac")

百度/02.2018年5月后月度执行/2021.3/丽喆-蚂蚁呀嘿借势/PR稿件+动图%202/4-蚂蚁呀嘿.gif

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(生成效果图)

“蚂蚁呀嘿”视频的核心技术是动作迁移算法FirstOrderMotion,它的功能是将人物A的脸部动作搬移到人物B身上,让人物B的脸演绎人物A的表情。

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

FirstOrderMotion算法的结构图如下:

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

简单来说,FirstOrderMotion能够通过自监督的方式学习到图像中的关键点。不需要提前知道目标的一些信息,比如骨架等就可以实现动作迁移。

PaddleGAN的表情迁移能力灵活支持各类不同表情的面部迁移,不仅是“蚂蚁呀嘿”,其他魔性动作也都能制作。除此之外,PaddleGAN这个免费开源的宝藏套件还包含数十种能力,包括唇形合成(对嘴型)、视频/照片修复(上色、超分、插帧)、人脸动漫化、照片动漫化等等。能实现让“蒙娜丽莎”播新闻、修复百年前的老照片、或是将普通的风景照“二次元化”等各种神操作,一个比一个厉害!

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(唇形合成)

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(老照片修复)

“开扒”蚂蚁呀嘿背后的AI技术,PaddleGAN开源表情动作迁移算法

(照片动漫化)

如果你也想不下载App就能做魔性视频,或是有更多、更大的脑洞想要实现,指路百度AI Studio亲自试试吧!

免责声明:本文来自自媒体,不代表科技讯的观点和立场

您可能感兴趣的文章

精彩推荐