近期，beat365在线唯一官网陕西省服装设计智能化重点实验室鲁棒视觉智能感知技术团队在多模态服装图像可控生成研究方向取得重要进展。由张凯兵教授指导、2024级博士研究生周璇同学撰写的题为《RAM-Fashion:Retrieval-Augmented Multimodal Diffusion for Fashion Image Generation》的学术论文被国际顶级学术期刊《Pattern Recognition》（中国科学院计算机科学领域SCI一区Top期刊，影响因子9.1）录用，这是继该团队在国际顶级学术期刊《IEEE Transactions on Circuits and Systems for Video Technology》（中国科学院计算机科学领域SCI一区Top期刊，影响因子11.1）上发表多模态服装图像可控生成相关成果之后，取得的又一项代表性研究成果。

该论文针对现有多模态服装图像生成方法依赖特定任务标注和复杂数据处理流程，难以满足实际应用中高效、灵活生成需求的问题，提出了一种检索增强多模态扩散框架RAM-Fashion，实现基于现有视觉先验的高质量、可控服装图像生成。首先，为充分挖掘大规模服装图像库中蕴含的丰富视觉知识，设计了跨模态检索模块，通过双一致性检索优化策略联合建模图文跨模态匹配关系与文本语义一致性，有效提升检索候选服装的可靠性与相关性。其次，为进一步发挥检索结果对生成过程的引导作用，提出了检索分层引导模块，将检索服装信息与文本条件协同融入扩散模型的去噪过程。该模块通过层级化视觉特征建模与语义融合机制，充分挖掘检索图像中的局部细节与全局语义信息，并有效缓解视觉外观与文本描述之间的跨模态语义偏差，增强生成模型的细节重构能力与多模态条件协同效果。实验结果表明，所提出的RAM-Fashion框架在服装属性保持、文本语义一致性和视觉质量等方面均取得了优异性能，综合效果优于现有主流方法。该研究为智能服装设计、数字时尚创作、虚拟试衣等应用场景提供了新的技术路径，有望推动人工智能内容生成技术在时尚服装产业中的进一步推广应用。

                    图1RAM-Fashion整体网络框架

                       图2可视化对比结果

人物链接：

周璇个人简介

周璇，女，2021年6月毕业于西安工程大学电子信息学院，获控制工程硕士学位。目前于西安工程大学纺织科学与工程学院攻读博士学位。主要研究方向为模式识别与人工智能、深度学习、图像生成、目标检测与图像识别。