DreamBooth

分类: 训练优化

DreamBooth

定义

DreamBooth 是 Google 提出的个性化文本到图像生成微调方法，通过少量（3-5 张）参考图像将特定概念（人物、物体、风格）注入预训练扩散模型

核心要点

使用 rare token identifier（如 “sks”）绑定目标概念

微调整个 U-Net / DiT 参数（全量微调），后来常与 LoRA 结合做轻量化

引入 prior preservation loss 防止语言漂移

是个性化生成的基础范式，后续 Textual Inversion、Custom Diffusion 等方法均受其启发

代表工作

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (Google, CVPR 2023)

相关概念

LoRA — 轻量化微调替代方案

SDXL — 常用的 DreamBooth 基座模型