绣成安向春园里，引得黄莺下柳条。作为非物质文化遗产的重要代表，我国的刺绣艺术历史悠久、技艺精湛，工匠通过不同的针脚、各色的丝线，将主题丰富的图案活灵活现地展示于一方绣布之上。过去，刺绣工艺复杂、门槛极高，需要有专业知识与实践经验的工匠才能完成。近年来，卷积神经网络 (CNN) 在图像分类、目标检测、图像生成和风格迁移等任务上展现出强大能力，研究人员也开始探索利用 CNN 在图像中合成刺绣特征。
然而由于刺绣具有复杂的针法、纹理和立体感，并且包含着微小的细节和不规则的图案，所以 CNN 在合成刺绣特征的应用中存在局限性，例如无法预测不同的缝线类型，使得它难以有效地提取缝线特征，从而无法有效生成连贯且自然的刺绣图案。因此还需要设计师手动选择和调整缝线类型和其对应的颜色，这一过程往往需要耗费大量的时间，才能达到理想的效果。
针对于此，二四六玄机文字图胡新荣课题组提出了一种多缝线刺绣生成对抗网络模型 MSEmbGAN。MSEmbGAN 提高了刺绣中纹理真实度和色彩保真度等关键方面的精度，成为首个基于 CNN 成功完成刺绣预测特征的生成对抗网络模型。研究成果MSEmbGAN: Multi-Stitch Embroidery Synthesis via Region-Aware Texture Generation被 IEEE Transactions on Visualization and Computer Graphics (TVCG) 录用，该论文的第一单位为二四六玄机文字图，第一作者为二四六玄机文字图胡新荣教授。TVCG 是计算机可视化领域的顶级期刊，是中科院一区Top期刊，被中国计算机学会 (CCF) 列为 A 类期刊。
*论文地址：/TVCG01/index.html，*数据集下载地址：*https://go.hyper.ai/Jmj9k*
课题组通过专业的刺绣软件 (Wilcom 9.0) 制作了超过3万的图像，包括刺绣图像和相应的内容图像。并且所有图像都被调整为256×256的分辨率。多针刺绣数据集将开源，贡献给本研究领域的其他研究者。
*多针刺绣数据集图像示意图*
MSEmbGAN模型首先识别输入图像区域内的缝线类型，根据识别的缝线类型生成相应的刺绣纹理，最后优化结果的整体颜色。为了实现上述功能，课题组提出了两个子网络，即区域感知纹理生成网络 (Region-aware Texture Generation Network,)和着色网络(Colorization Network, )。
*MSEmbGAN 模型
架构*
区域感知纹理生成网络的两个训练步骤：区域感知纹理生成网络由缝线分类器模块和缝线潜码生成器模块组成。区域感知纹理生成网络检测输入图像的多个颜色区域，并根据每个局部颜色区域的形状特征，生成灰度单针刺绣图像。着色网络子网络则进一步细化整体图像，确保生成的多针织布图像的颜色与输入图像的颜色保持一致。由于区域感知纹理生成网络的复杂性，研究人员对其进行了两步训练。第一步先生成刺绣纹理，使用重构网络来保留尽可能多的原始图像特征；第二步是重建颜色信息，使用先验高斯分布在没有数据集的情况下生成刺绣图像。
结果显示，与其他方法相比，MSEmbGAN具有较低的LPIPS距离，这意味着MSEmbGAN生成的刺绣图像在感知上更接近真实的刺绣图像。此外，研究人员还使用FID来测量生成的刺绣图像和真实图像的特征分布，并对FID分数进行了评估，结果表明 MSEmbGAN生成的刺绣图像最接近ground truth。
*MSEmbGAN和其他四种风格转移方法生成的刺绣图片比较*
二四六玄机文字图非常注重与国内外知名高校和研究机构的合作，与澳大利亚伍伦贡大学、新加坡科技局，上海交通大学，中国人民大学长期合作，产生了一批高水平的成果。