系列教程说明
这是「AI专家养成计划」系列教程的第48篇,共140篇。从AI零基础出发,每天进步一点点。晚课以实操为主,手把手带你完成完整的风格迁移项目——读完这篇,你就能用自己的照片生成油画、水墨画、动漫三种风格的作品。
上篇回顾
今天早课我们学习了风格迁移的理论基础。三个核心要点:
- 风格迁移的本质:把图片的”内容”(物体、场景、构图)和”风格”(笔触、色彩、质感)分离,然后自由组合
- 三代技术演进:从慢速的神经风格迁移,到快速的前馈网络,再到如今基于扩散模型的灵活方案
- 三种主流方法:img2img(最简单)、ControlNet+风格提示词(最精确)、IP-Adapter(最傻瓜式)
理论讲完了,今晚我们动手。你将完成三个完整的风格迁移项目,从”知道”变成”做到”。
准备工作:环境搭建
在开始之前,确保你已经准备好以下工具。
方案一:本地部署(推荐有显卡的同学)
如果你有NVIDIA显卡(显存6GB以上),推荐本地安装Stable Diffusion WebUI:
`bash
# 克隆项目
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui
# 启动(首次会自动下载模型)
./webui.sh
`
启动后浏览器访问 http://127.0.0.1:7860,你就能看到操作界面了。
方案二:在线平台(没有显卡也能用)
没有显卡也没关系,这些平台免费或低成本就能体验:
| 平台 | 特点 | 访问方式 |
|---|
|——|——|———|
| 通义万相 | 阿里出品,免费额度充足,中文友好 | tongyi.aliyun.com |
|---|---|---|
| LiblibAI | 国内最大的SD模型分享平台,在线生图 | liblib.art |
| Leonardo.ai | 国际平台,免费额度每天150张 | leonardo.ai |
| Google Colab | 免费GPU,运行SD WebUI | colab.research.google.com |
方案三:ComfyUI(进阶玩家推荐)
ComfyUI是节点式工作流编辑器,比WebUI更灵活。今晚的第三个实战项目(IP-Adapter)用ComfyUI实现最方便。
`bash
# 安装ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
pip install -r requirements.txt
python main.py
`
实战项目一:照片变梵高油画
这是最经典的风格迁移场景。我们用img2img方法,把一张普通风景照变成梵高《星空》风格的油画。
第一步:选择一张合适的照片
打开你的手机相册,选一张风景照。选择标准:
- 构图简洁:主体明确,不要有太多杂乱元素
- 光线充足:太暗的照片风格化后会更暗
- 分辨率适中:太大的图会很慢,建议先缩放到1024×768左右
小技巧:城市夜景、田野风光、海边日落这类照片特别适合油画风格迁移,因为它们本身就很有”画面感”。
第二步:进入img2img模式
在Stable Diffusion WebUI中:
- 点击顶部的 img2img 标签页
- 上传你选好的照片
- 你会看到照片出现在编辑区域
第三步:填写提示词
在提示词输入框中写入:
`
oil painting style, Vincent Van Gogh starry night,
swirling bold brushstrokes, thick impasto texture,
vibrant deep blues and warm yellows,
expressive post-impressionist masterpiece
`
在负面提示词中写入:
`
photorealistic, photograph, blurry, low quality,
deformed, ugly, watermark, text
`
第四步:设置关键参数
这是最重要的一步,参数设置直接决定效果好坏:
| 参数 | 推荐值 | 说明 |
|---|
|——|——–|——|
| Sampling method | DPM++ 2M Karras | 效果稳定,细节好 |
|---|---|---|
| Sampling steps | 25-30 | 步数越多细节越好,但超过30提升不大 |
| Denoising strength | 0.45-0.55 | 核心参数!下面详细讲 |
| CFG Scale | 7-10 | 越高越遵循提示词,但过高会不自然 |
| 图片尺寸 | 和原图一致 | 保持原始比例 |
第五步:生成并对比
点击 Generate 按钮,等待几秒到几十秒,你就能看到风格化后的效果了。
多生成几张对比:同样的参数,生成4张图(Batch count设为4),选最好的那张。
第六步:微调优化
如果效果不理想,按这个表调整:
| 问题 | 调整方向 |
|---|
|——|———-|
| 油画感不够强 | Denoising +0.05,或在提示词中加 “thick paint texture” |
|---|---|
| 太抽象了看不懂 | Denoising -0.05,保留更多原图信息 |
| 颜色太暗 | 加 “bright vivid colors, warm lighting” |
| 颜色太艳 | 加 “muted earth tones, subtle palette” |
| 笔触不够明显 | 加 “visible brushstrokes, heavy texture” |
经验法则:Denoising strength 0.45-0.55 是油画风格迁移的”甜蜜区间”。低于0.4风格化不足,高于0.6原图细节开始丢失。
实战项目二:照片变中国水墨画
水墨画是一种非常有东方韵味的风格。和油画不同,水墨画追求的是”留白”和”意境”——越简洁越高级。
为什么水墨画风格迁移比较难?
水墨画有几个特殊之处,让AI不太容易搞定:
- 色彩极简:主要就是黑、白、灰,偶尔有点淡彩
- 留白很多:大面积空白是构图的一部分,AI生图习惯”填满”画面
- 线条讲究:毛笔的粗细变化、飞白效果,AI不容易模拟
所以我们需要一些特殊的提示词技巧。
提示词模板
`
Chinese traditional ink wash painting, shuimo hua,
sumi-e style, black ink on white rice paper,
minimalist composition with negative space,
flowing brush calligraphy strokes,
monochrome with subtle ink wash gradients,
traditional Chinese landscape painting aesthetic
`
负面提示词:
`
colorful, vibrant colors, photorealistic, photograph,
busy composition, cluttered, modern, digital art,
oil painting, watercolor
`
关键参数调整
水墨画的参数和油画有所不同:
| 参数 | 推荐值 | 原因 |
|---|
|——|——–|——|
| Denoising strength | 0.55-0.65 | 需要更强的风格化,因为原图和水墨画差异太大 |
|---|---|---|
| CFG Scale | 8-12 | 比油画高一点,确保AI严格遵循”简洁”的风格要求 |
| Sampling steps | 20-25 | 水墨画不需要太多细节渲染 |
进阶技巧:用ControlNet保留构图
水墨画风格化力度大,容易丢失原图的构图。建议配合ControlNet使用:
- 启用ControlNet
- 选择 Canny 或 Lineart 预处理器
- ControlNet权重设为 0.6-0.8
- 这样原图的轮廓会保留,但风格完全变成水墨
小技巧:如果你想要”淡彩水墨”效果(黑白中带一点颜色),可以提示词中加
light color wash, subtle ink tints of green and blue。
实战项目三:用IP-Adapter实现”一键风格迁移”
前两个项目需要你写英文提示词。如果你不想写提示词,IP-Adapter是最好的选择——只需要一张风格参考图。
什么是IP-Adapter?
IP-Adapter全称是”Image Prompt Adapter”,它的核心思路是:用图片作为提示词。
你提供一张风格参考图(比如莫奈的画),IP-Adapter会从中提取风格特征(色调、笔触、构图氛围),然后把这些特征注入到新的图像生成过程中。
实操步骤(以ComfyUI为例)
步骤1:安装必要的模型
你需要下载以下模型文件:
`bash
# IP-Adapter模型(放在 ComfyUI/models/ipadapter/ 目录)
# 推荐:ip-adapter-plus_sd15.safetensors 或 ip-adapter-plus-face_sd15.safetensors
# CLIP Vision模型(放在 ComfyUI/models/clip_vision/ 目录)
# 推荐:CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors
# 基础SD模型(放在 ComfyUI/models/checkpoints/ 目录)
# 推荐:v1-5-pruned-emaonly.safetensors
`
步骤2:搭建ComfyUI工作流
在ComfyUI中,用以下节点搭建工作流:
`
[Load Checkpoint] → [KSampler]
↓ ↑
[Load Image(原图)] [CLIP Text Encode(正面+负面)]
↓ ↑
[IP-Adapter Apply] ← [CLIP Vision Encode(风格参考图)]
↓
[VAE Decode] → [Save Image]
`
节点连接说明:
- Load Checkpoint:加载SD基础模型
- Load Image:两次,一次加载你的原图,一次加载风格参考图
- CLIP Vision Encode:编码风格参考图(IP-Adapter专用)
- IP-Adapter Apply:将风格特征注入到模型中
- CLIP Text Encode:可选,写简单的内容描述(如”a landscape photo”)
- KSampler:采样生成
- VAE Decode + Save Image:解码并保存结果
步骤3:调整风格强度
IP-Adapter最关键的参数是 weight(权重),控制风格迁移的强度:
| weight值 | 效果 |
|---|
|———-|——|
| 0.3-0.5 | 轻微风格化,原图特征保留多 |
|---|---|
| 0.5-0.7 | 平衡,最常用的范围 |
| 0.7-1.0 | 强烈风格化,风格参考图的特征非常明显 |
经验法则:从0.6开始尝试,根据效果上下调整。
步骤4:风格参考图的选择
好的风格参考图:
- 风格特征明确(笔触、色彩、质感清晰可见)
- 画面不要太复杂
- 分辨率不需要太高,512×512就够
不好的风格参考图:
- 内容太复杂(AI会同时学内容和风格)
- 风格不明确(普通的照片没有明显的”风格”)
- 太小或太模糊
三种方法对比:该选哪个?
实战了三个项目,我们来总结一下三种方法的优缺点:
| 维度 | img2img | ControlNet+提示词 | IP-Adapter |
|---|
|——|———|——————-|————|
| 上手难度 | ★☆☆ 最简单 | ★★☆ 需要了解ControlNet | ★★☆ 需要ComfyUI基础 |
|---|---|---|---|
| 提示词要求 | 需要英文提示词 | 需要英文提示词 | 不需要提示词 |
| 构图保真度 | 中等 | 最高 | 中等偏高 |
| 风格还原度 | 中等 | 高 | 最高 |
| 灵活性 | 高(任何风格都能写) | 高 | 中等(依赖参考图质量) |
| 推荐场景 | 快速尝试、滤镜效果 | 精确控制、商业用途 | 不会写提示词时、批量处理 |
选择建议
- 刚入门:先用img2img,简单直接,马上能看到效果
- 需要精确控制:用ControlNet,构图不会跑偏
- 不想学提示词:用IP-Adapter,找一张好图就行
- 批量处理:IP-Adapter最合适,一个风格参考图可以处理一堆照片
进阶技巧:风格混合
当你掌握基本方法后,可以尝试”风格混合”——同时使用两种以上的风格。
技巧1:提示词加权混合
`
oil painting style:1.2, Van Gogh starry night:0.8,
watercolor soft edges:0.5
`
用冒号后面的数字控制每种风格的权重。数值越大,该风格的影响力越强。
技巧2:IP-Adapter双参考图
在ComfyUI中串联两个IP-Adapter节点,分别输入不同的风格参考图,调整各自的权重:
`
[原图] → [IP-Adapter 1 (油画, weight=0.5)] → [IP-Adapter 2 (水彩, weight=0.3)] → [生成]
`
这样生成的图片会同时具有油画和水彩的特征,创造出独特的混合风格。
技巧3:区域风格迁移
使用 Inpaint + ControlNet,对照片的不同区域应用不同风格:
- 用ControlNet锁定整张图的构图
- 用Inpaint蒙版选择天空区域,应用水彩风格
- 再用Inpaint蒙版选择建筑区域,应用油画风格
效果:同一张照片,天空是水彩的柔和,建筑是油画的厚重——这是单一方法做不到的。
常见问题速查
问题一:生成速度太慢
原因:图片太大或步数太多。
解决:先缩放到768×768,步数设20,速度和质量的平衡点。
问题二:风格化后人脸变形
原因:AI对人脸区域的风格化容易”用力过猛”。
解决:
- 安装ADetailer插件,自动检测并修复人脸
- 或者降低整体Denoising strength到0.35-0.4
- 或者用Inpaint单独处理人脸区域,降低去噪强度
问题三:色彩偏差严重
原因:风格参考图的色彩和原图差异太大。
解决:在提示词中补充色彩指令,如 “keep original color scheme, warm tones”。
问题四:ComfyUI节点报错
原因:模型文件缺失或路径错误。
解决:检查三个模型目录是否都有对应的文件,文件名不要有中文或空格。
今日行动项
今晚回去做一件事:
完成你的第一个风格迁移作品。步骤:
- 选一张你拍的照片(风景、宠物、建筑都可以)
- 用img2img方法,Denoising设为0.5
- 分别生成以下三种风格:
- 梵高油画:
oil painting, Van Gogh style, swirling brushstrokes - 中国水墨:
Chinese ink wash painting, sumi-e, minimalist - 赛博朋克:
cyberpunk style, neon lights, futuristic
- 把三张图放在一起对比,感受不同风格的魅力
进阶挑战:如果你已经会用ComfyUI,试试IP-Adapter方法——找一张你最喜欢的画作作为风格参考图,一键生成风格迁移作品。
🚇 地铁深读:风格迁移的商业应用
这个板块专为地铁通勤设计,每篇5-10分钟。不想深读可以跳过,不影响主线学习。
从技术到生意:风格迁移如何赚钱?
风格迁移不只是”好玩”,它已经是一个成熟的商业应用领域。
应用一:滤镜App
Instagram、美图秀秀里的”艺术滤镜”,本质上就是风格迁移。Prisma是这个领域的开创者——2016年上线后,一周内下载量超过1000万次,成为当年最火的App之一。
商业逻辑:用户免费使用基础滤镜,付费解锁高级风格。Prisma的付费订阅价格是每月7.99美元,高峰期年收入超过1亿美元。
应用二:电商产品图
服装电商面临一个痛点:同一个款式的衣服,需要在不同场景中展示(街拍、室内、户外)。传统方式需要多次拍摄,成本很高。
风格迁移的解决方案:拍摄一次,用风格迁移生成不同场景风格的产品图。一件白色连衣裙,可以变成”日系清新风”、”欧美街拍风”、”复古胶片风”——同一张底图,多种风格,省时省力。
应用三:游戏和影视
游戏公司用风格迁移快速制作概念艺术。比如,设计师画一个粗略的草图,用风格迁移把它变成”油画风”、”赛博朋克风”、”水墨风”的成熟概念图。效率提升了5-10倍。
影视行业用风格迁移做”预可视化”——在正式制作前,用风格迁移快速生成不同视觉风格的场景预览,帮助导演和美术指导确定视觉方向。
应用四:个性化商品
现在有很多”定制油画”服务:你上传一张照片,艺术家帮你画成油画。传统方式需要1-2周,价格几百到几千元。
用风格迁移,同样的服务可以做到10秒出图、10元价格。虽然不是真正的手绘油画(通常是打印到画布上),但对于大部分消费者来说,效果已经足够好。
风格迁移的局限
商业应用中,风格迁移有几个需要注意的局限:
- 质量不稳定:同样的参数,不同照片的效果差异很大,需要人工挑选和调整
- 人脸问题:风格化后人脸容易变形,在涉及人物的商业场景中需要额外处理
- 版权风险:如果风格参考图是有版权的艺术作品,生成的风格化图片可能涉及侵权——这是一个法律灰色地带
- 审美瓶颈:工具再好,也需要使用者有审美判断力——生成100张,能用的可能只有几张
推荐学习资源
如果你想深入学习风格迁移:
- 论文:Gatys et al., “A Neural Algorithm of Artistic Style” (2015) — 风格迁移的开山之作,值得一读
- 课程:fast.ai Practical Deep Learning — 有专门的风格迁移章节,适合有Python基础的学习者
- 社区:Civitai.com — 海量风格模型下载,看别人的作品找灵感
- 工具:ComfyUI官方示例工作流 — 包含多种风格迁移的现成模板,导入就能用
今日总结
三个关键要点:
- 三种实操方法:img2img(快速上手,提示词控制风格)、ControlNet+风格提示词(精确保构图,适合商业用途)、IP-Adapter(无需提示词,一张参考图搞定风格)
- Denoising strength是核心参数:油画0.45-0.55、水墨画0.55-0.65、风格差异越大需要越高——但超过0.6原图细节开始丢失
- 风格混合是进阶玩法:提示词加权混合、双IP-Adapter串联、Inpaint区域风格化——掌握这些你就能创造出独一无二的视觉效果
下篇预告
明天早上8点:Day25——早课 AI图像编辑:修图新方式。我们将学习如何用AI进行局部修图、背景替换、物体擦除——Photoshop需要半小时的工作,AI可能只需要30秒。
今天是Day24的完结:早课学理论,晚课练实操,风格迁移的理论和实践你都掌握了。明天开始我们进入AI图像编辑的新领域!
发表回复