【黄健成投稿】中科院、Adobe和苹果公司联手出击，发布了一份关于图像中扩散模型的重磅综述，该篇长达26页、包含1.5万余词的论文囊括了297篇相关文献，全面剖析了图像领域的前沿技术，并创新性地提出了全新的基准测评体系，为研究者搭建了一个高效的学习参考平台。
    在这份详尽的综述中，从理论与实践两方面深度总结了扩散模型在图像中的应用现状。他们以学习策略和输入条件为切入点，对现有研究成果进行系统分类与深入解读，并设立了一套评估模型性能的标准，同时前瞻性地展望了未来可能的研究方向。
    基于扩散模型的图像成果主要集中在任务分类、实现方式、测试基准及未来展望四大板块。相较于传统的生成对抗网络（GANs），扩散模型在图像上展现出更强的可控性，尤其在对象添加、背景替换、纹理更改等任务中实现了显著突破。
    在任务分类部分，根据学习策略，研究将图像方法细分为基于训练的方法、测试时微调方法以及无需训练和微调的方法三大类别。此外，还探讨了10种不同的输入条件，如文本、掩码、参考图像等，以及12种最常见的类型，这些类型被归纳为语义、风格和结构三大范畴。
    在实现方式章节，详述了各类方法的特点和框架。基于训练的方法因其稳定的训练过程和高效的数据建模能力而备受瞩目；测试时微调的方法通过针对性调整提升精确度和可控性；而无需训练和微调的方法则凭借快速响应和低成本优势，在图像领域开辟出新的道路。
    为了弥补现有图像测试标准的不足，推出了EditEval基准，包含了50张高质量图像数据集和配套文本提示，能够全面评估模型在七种常见任务上的表现力。同时引入LMM分数，利用多模态大模型对性能进行量化评价，并结合真人用户研究提供主观评估维度。
    然而，尽管当前扩散模型在图像方面的成就令人瞩目，但也指出了未来需要解决的关键挑战，包括减少模型推理步骤、提高模型效率、处理复杂对象结构和光照阴影，以及增强图像模型的泛化性和建立可靠的定量评估指标。针对这些问题，列举了近期的研究进展，并展望了可能的解决方案和发展趋势。
    最后，读者可以通过访问以下链接获取更多有关扩散模型在图像应用的详细信息，以及提供的附带资源库：
    论文链接：https://arxiv.org/abs/2402.17525
    GitHub资源库：https://github.com/SiatMMLab/Awesome-Diffusion-Model-Based-Image-Editing-Methods