互联网资讯 / 人工智能 · 2023年11月21日

AI简笔画水平惊艳网友,不需GAN

本文经AI新媒体量子位授权转载,转载请联系出处。

AI画的简笔画能到什么水平?

给一张美国演员RaMi Malek的照片,效果是这样的。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

是不是和原图很逼近了?

再来看下输入《老友记》合影的效果。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

虽然人物众多,但出来的简笔画效果,依旧还是能分清剧中的人物。

如果毛发特别浓密的人物照,AI还能hold得住吗?

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

小姐姐“爆炸头”的边缘毛发,也算得上是完美还原了。

再近距离一些的呢?来看“霉霉”(TayloR Swift)照片的效果。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

可以说是相当的细节了,把发丝的层次感、光感,以及衣物的褶皱,都发挥的“淋漓尽致”。

这些就是出自一个叫ARtLine的AI的作品。

而且它在ReddIT非常火爆,已经达到了1100+的热度。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

如此惟妙惟肖的效果,你是不是认为又是GAN的功劳?

错!

ARtLine完全没有用到GAN:

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

也正因如此,ARtLine的效果真真儿的惊艳到了网友。

那么,它是如何做到的呢?

ARtLine背后的三大“法宝”

ARtLine的作者十分爽快地分享了其背后的三大技术:

Self-Attention PRogReSSive Resizing GeneRaTor LoSS

接下来,一起逐一看下各个技术背后的细节内容。

Self-Attention部分引用的技术,出自两年前GAN之父lan Goodfellow等人提出的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

等等,刚才不是还说“没用到GAN”吗?

作者对此的解释是:

并没有起到太大作用。

这项研究主要是在GAN生成中加入了注意力机制,同时将SNgan的思想引入到生成器当中。

所要解决的是传统GAN自身存在的一些问题,例如:

使用小的卷积核很难发现图像中的依赖关系 使用大的卷积核就会丧失卷积网络参数与计算的效率

研究中核心的自注意力机制如下图所示。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

其中,f(x),g(x)和h(x)都是普通的1×1卷积,差别只在于输出通道大小不同。

而后,将f(x)的输出转置,并和g(x)的输出相乘,再经过softMax归一化,得到一个Attention Map。

得到Attention Map之后,和h(x)逐像素点相乘,得到自适应的注意力featuRe Maps。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

从结果上来看,引入自注意力机制的效果,确实在FID和IS两个性能指标下,得到了较好的效果。

ARtLine涉及到的第二个技术灵感,来自英伟达在2018年的一项研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这项研究主要提出了一种新的训练对抗神经网络的方法。

核心思想是逐步训练生成器和判别器:从低分辨率开始,随着训练进程推进,逐步增加新的层来提炼细节。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这种方法不仅加快了训练速度并且更加稳定,可以产生高质量的图像。

ARtLine所涉及到的最后一个技术,是来自斯坦福大学李飞飞团队在2016年提出的研究。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

这项研究主要解决了实现的风格转换,比较费时的问题。

这个AI“大师级”简笔画水平,惊艳到了网友:竟然不用GAN

风格转换部分主要用了上面的网络模型,这个模型可以分为两部分:左侧是图像转换网络,而右侧是损耗网络。

其超分辨率重建也是采用上面的网络模型,只是具体内部的图像转换网络部分稍有区别。

这个网络与之前的研究相比,效果达到了相当的水平,但速度却提升了百倍之多,达到3个数量级。

关于作者

ARtLine的项目作者叫做Vijish Madhavan。

他在GitHub中坦言自己并非程序员出身,也道出了ARtLine目前存在的一些缺陷,例如处理像素低于500px的图像时,效果并不理想等。

现在,ARtLine可以在线玩了!

感兴趣的读者,可以戳下方链接体验一下。

Colab链接:

https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine(try_IT_on_Colab).IPynb.IPynb)

https://colab.Google.coM/Github/vijisHMadhavan/Light-Up/blob/Master/ARtLine.IPynb

GITHub项目地址:

https://Github.coM/vijisHMadhavan/ARtLine

OpenMagic API

Need more than content? Move into the product flow.

If you are here for model access, pricing, developer docs, or the future API console, the dedicated product path now lives on api.openmagic.ai.

登录免费注册