添梗无数的AI扩图火上天了这届的开发者们跟得上么？

从全球趋势来说，或许AI扩图只是众多AI模型中的“一粒粟”，但由小见大，未来的AI领域，或许还会带给我们更多美丽的结晶。

2023-12-08

没想到去年3月就已经上线的AI扩图，会以脑洞大开的梗图创作而爆火出圈。

近日，由于剪映APP推出的AI扩图功能太过于“离谱”，导致这一AI技术很快变成了一个热门玩法，被各路大神网友玩出了圈。无论在抖音、小红书还是B站甚至海外Instagram等各大平台，AI扩图创梗图的视频&图文，都以迅雷不及掩耳之势风靡全网。流量大、玩法新颖、创新度高，对于等待机会的出海开发者而言，无疑是立项的好方向。

（扩图前后，谁也想不到竟会是如此辣眼画面）

而从市场方面来看，根据data.ai数据，得益于新功能和应用的推出，融入了AI功能的应用在 2023 年下载量增长了60%，预计到2024年，含有AIGC功能的应用下载量仍将同比增长40%，继续保持高速增长。聚焦来看，其热门子类别就包括我们今日将重点提及的照片编辑、视频编辑等应用，而在这些子类别下，Adobe、Midjourney、Stability AI、Meta、Open AI等，都已早早“动手”了。

（图源：data.ai）

PART.01

“正经”的AI扩图应该是什么样子

AI扩图本应该很正经，因为它的原理是基于人工智能算法以及一种名为Outpainting的技术，用大量训练图像让AI扩图技术进行深度学习和分析，进而生成更高分辨率的图像，大幅度提升图像的清晰度和细节，还可以根据图片的内容以及自身曾经学到的知识来拓展绘图，补全想象空间或给到创作者们新的灵感。

全面点来看，AI扩图可以用于两个核心场景：个人场景以及商用场景。

对于个人场景来说，修复旧照片，拯救废片，美化取景不完美的照片等都可以先利用扩图功能进行填补美化，然后再自己进行二次修改。如以美图秀秀的AI扩图功能为例，可以看到其AI扩图针对人像照的优化和补足缺失部分能够提供一定助力，进一步解放用户双手了。

（图：美图秀秀AI扩图技术）

在商用场景，AI扩图功能能够覆盖到的行业无疑更多，如广告、设计、社媒内容创作、动漫、游戏等内容&创作型产业，都将是AI扩图功能的受益者。以游戏行业举例来说，复杂的制作管线、多模态的落地场景，无疑对AI技术有着强烈需求。得益于现阶段AI技术的广泛应用，AI生成图片、提供创意已经大大解放了游戏厂商们的劳动力，不仅能够将需求具象化，还能以分钟级甚至秒级大量生成不同美术风格的图片。图片生成后，画师们只需要在AI生成的部分上再进行精细化地雕刻即可。如果说AI生成是从0-1，那么AI扩图功能的加入，能够将生成的图片进一步扩大和精细化，实现从1-99的飞跃。试想，当游戏场景都能够直接经由AI扩图功能进行填充和扩写，再加上AI编码技术、AI写作能力等等......那么我们见到完全用AI技术构成游戏的那天，或许真的要到来了。

（图：Midjourney AI扩图功能）

PART.02

推出AI扩图功能的产品们存在低调的实力派

开篇我们提到，AI扩图功能是被剪映带出了圈，进而在国内走红。但早在剪映推出这一功能之前，AI扩图便已经率先在海外火过一圈了。更值得一提的是，从今年3月出现在人们视野至今，AI扩图也已经从图片领域发展到了视频领域，实现了重大突破。下面，笔者将以几款代表产品进行拆解分析，进一步挖掘AI扩图在实际领域中的作用。

Adobe Firefly1&2——AI扩图“老大哥”

Adobe相信大家都不陌生，在AIGC浪潮来临之际，Adobe也是较早跃入其中的大厂之一，他们于今年3月发布、5月底全面开放的Firefly（萤火虫）可以称得上是目前最早加入AI扩图功能（生成填充）的AI模型之一。不过，Adobe Firefly提供的AI扩图功能还较为早期，需要用户使用画笔进行添加或减去图片内容，进行局部重绘。随后，就可以输入新的描述词进行再创作。如一下这张图，就是将原本的背景去除后输入新的背景描述词，进而生成的新图片，不止背景，就连细节部分也做了相应补充，比如点亮的魔杖、燃烧的蜡烛、背景虚化等等，整体效果虽达不到惊艳，但作为第一个推出AI扩图功能的AI模型，已经可以称得上让人眼前一亮。据悉，Adobe Firefly甚至会逐步整合到Adobe旗下如PS、AE等产品之中，并将在未来允许用户自动将导演脚本转化为故事板和可视化动画，直接为图片生成动画效果，一站式服务，重点还免费（目前为止）。

10月左右，Adobe Firefly进行了一次重大更新，这次更新之后，Adobe直接将其命名为Firefly 2。在Firefly 2功能下，无论是图片渲染程度、分辨率、还是图像模型等，均有了质的提升，特别是在渲染人体时，皮肤纹理、发丝等微小细节也均被照顾到。从官方发布的图片来看，相较于Firefly 1，Firefly 2明显更为真实，细节之处也经得起推敲。

（图：Firefly 1&2对比）

除此之外，Firefly 2还能够根据用户上传的图片生成相似风格的新图，并允许用户通过Prompt设定风格和细节控制。新增的矢量图生成功能，能够让用户直接通过Prompt生成矢量图，驾驭更为多样化的风格。

总结而言，Firefly 2在一定程度上补足了此前AI生图功能最大的缺陷——缺乏细节。在补足了这一点后，这样的快速创意能力和对细节的处理，特别是对于游戏企业来说，无疑更值得关注。

Generative Expand——Adobe的第二个AI大杀器

随着Adobe Firefly饱受好评，在2个月后（7月），Adobe进一步对Photoshop“动手”了。“Generative Expand”是Adobe向Photoshop Beta用户免费开放公测的AI功能，不过，截至目前，PS升级至最新版本的用户也支持体验这项功能。在Generative Expand中，AI扩图是最为主要的功能，允许用户在不提供任何提示词的前提之下，对图像进行无限扩展和创作，包括但不限于图片横竖变化、AI自动扩展内容等。

（图：Generative Expand的图片扩展功能）

与Adobe Firefly的填充功能有所区别，Generative Expand的核心功能为扩展，也就是包含了填充功能，并省略了人工选取这一步骤。如果对生成的图片不满意，还可以通过修改描述进行无限生成，直到满意为止。据悉，单次图片生成的时间约在1分钟左右，再加上图片生成后的精致效果，侧面展现了其强大的算力水平。

PS本身在行业内的普及程度，再加上Adobe强大AI功能的集成，无论对于求职者还是业内人士来说，无疑是一件更为趁手的工具。毕竟，掌握一项AI功能，总比重新学一种技术要门槛要低的多。

Midjourney、DALL-E 2、Stable Diffusion（SD）——AI扩图顶流们

除了Adobe推出的一系列AI扩图功能，Midjourney、DALL-E 2、Stable Diffusion（SD）也均加入了AI扩图阵列，按照时间线，甚至比Generative Expand推出的还要早一些。

对比来说，这三个AI的扩图功能各有优劣，比如Midjourney的扩图功能是目前效果最好的，图片质量和精细程度与PS的Generative Expand不相上下，甚至还能够支持无限扩图和比例&自定义放大，细节到图片的每一处微小之处都经得起放大和延伸，自定义放大甚至可以通过更改提示词来进一步修图。但缺点是，Midjourney只能按照特定的比例进行扩展，且不支持上传第三方图片，只能根据MJ自身生成的图片进行扩展，总结来说，其图片生成难度要低于根据第三方图片进行创作和扩图的AI。

而DALL-E 2、Stable Diffusion（SD）相较于Midjourney来说，支持不同比例的扩展以及上传第三方图片，但，且会出现比较明显的图片bug，比如此前AI生图经常出现的“穿帮”问题。

（图源：AIGC研修社）

从图片扩展到视频扩展，Pika1.0做到了。前几日，凭借一款能够生成和编辑各种视频的，这家名为Pika的初创公司获得了的融资，还几乎，其中包括GitHub 前CEO NatFriedman、Quora创始人AdamD'Angelo等等，经此一战，Pika一跃成为全球炙手可热的AI视频生成公司，具备了和等巨头掰手腕的实力。

Pika1.0的功能强大到什么地步？；