互联网技术 / 互联网资讯 · 2023年10月27日 0

图像情感迁移:罗切斯特大学团队研究新视觉任务

图像情感迁移?计算机视觉领域中有很多任务,但你听说过「图像情感迁移」吗?

罗切斯特大学罗杰波教授团队提出了这项研究任务。图像情感迁移更具挑战性,需要对图像中的每个物体进行不同的情感迁移。该研究提出一种灵活有效的物体级图像情感迁移框架和新模型 SentiGAN,实验证明该框架可以有效执行物体级图像情感迁移。

图像情感迁移是一个待探索的新型研究任务。与其他任务相比,图像情感迁移关注更高级更抽象的对图像整体外观和感觉的修改,而不改变其场景内容。要让输入图像具有积极情感,应把海水迁移成清澈的蓝色,海鸟迁移成彩色的。

为了解决这一挑战,该研究提出了一种有效框架,可以在物体级别执行图像情感迁移。整个过程可分为两步。这种方法具备互补性,能够显著提高情感迁移的性能。

解决以上缺陷,研究提出了一种新方法 SentiGAN。该研究创建了对应的物体级损失函数,与图像级损失一起训练模型。这表明,SentiGAN 可以有效执行图像粗粒度情感迁移。

研究人员创建了三个任务来评估图像情感迁移模型的性能。这三个任务均基于 50 张选自测试集的输入图像,这些图像具备精确的物体掩码和相对中性或模糊的情感信息。

第一个任务旨在衡量模型在执行图像粗粒度情感迁移时的性能。SentiGAN 获得了最高的平均真正率和真负率。

第二个任务是验证物体级情感迁移的效果。对于大多数组,志愿者认为目标级情感迁移生成的图像最真实。

第三个任务是评估迁移图像和参考图像之间的情感一致性。SentiGAN 获得了最高的选中率,而且大幅领先,这表明它在迁移参考图像的情感中实现了最优性能。

罗杰波教授团队还提出了一种基于全局的图像情感迁移方法,感兴趣的读者可查看原论文。