近日，温州大学计算机与人工智能学院教授团队在国际著名期刊IEEE Transactions on Visualization and Computer Graphics上发表了题为《FACEMUG: A Multimodal Generative and Fusion Framework for Local Facial Editing》的学术论文（DOI：10.1109/TVCG.2024.3434386）。该团队在论文中提到，他们成功研发设计了一种名为FACEMUG的新颖的多模态生成融合框架系统，能够处理语义、颜色、参考图、素描线条、文本提示词等多种模态数据，利用生成式AI技术实现在非编辑区域视觉属性保持不变的同时生成一张自然逼真的新人脸图像。

据悉，IEEE Transactions on Visualization and Computer Graphics是可视化与计算机图形学领域国际顶级期刊、中国计算机学会CCF-A类推荐期刊、中国科学院期刊分区计算机科学领域SCI-1区TOP期刊。本次也是温州高校首次在该顶级刊物上发表论文，标志着温州在该AI图像生成领域的研究工作取得了显著的进展和国际同行的认可。

近年来，随着互联网、移动智能设备和人工智能技术的迅速发展，人脸图像在各类应用场景中随处可见并广泛使用。人脸编辑研究在数字文化遗产保护、医学成像、公安刑侦、社交媒体、时尚设计、影视特效等诸多领域有着重要的应用价值。尽管当前人脸编辑技术已经取得了长足进步，但在多模态支持和局部可控性等方面仍存在不足，尤其是在经过多次编辑后，编辑区域之外的其他图像部位会被反复重新生成，导致很多时候并不能生成用户想要的编辑效果。实验结果表明，由温州科研团队研发的FACEMUG在操作灵活性、局部可控性以及生成质量等方面性能表现优越。

（经过FACEMUG增量式局部人脸编辑操作后能够生成自然逼真的新人脸图像）

据介绍，温州大学为该论文第一单位和通讯单位，赵汉理教授为通讯作者（博士毕业于浙江大学CAD&CG国家重点实验室，长期以来致力于人工智能、计算机视觉、医学图像分析等方面的研究和教学工作）。其在加拿大纽芬兰纪念大学联合培养的博士研究生卢望龙为第一作者，合作作者包括浙江大学金小刚教授和纽芬兰纪念大学姜贤塔教授。