互联网资讯 / 人工智能 · 2023年11月4日 0

你是唯一一个被AI Deepfake的人

自打有了deepFAke,再也不敢相信「眼见为实」了。

要说把朱茵换脸成杨幂,把海王换脸成徐锦江,大家还可以一笑而过。

可若是公众人物被deepFAke了什么不该说的话、不该做的事,就让人细思极恐了。

为了防止世界被破坏,为了维护世界的和平,(狗头)现在,阿里安全图灵实验室也加入了“围剿&Rdquo;deepFAke的队列:

打造deepFAke检测算法S-MIL,多人现场视频,只要其中1人被换脸,就能精准识别。

你是唯一一个被AI Deepfake的人

为了解决这些问题,阿里安全图灵实验室的研究人员们提出了基于多实例学习的ShaRp-MIL(S-MIL)方法,只需视频级别的标注,就能对deepFAke作品进行检测。

核心思想是,只要视频中有一张人脸被篡改,那么该视频就被定义为deepFAke视频。这就和多实例学习的思想相吻合。

你是唯一一个被AI Deepfake的人

具体而言,算法主要由三个关键部分组成。

首先,对输入视频中的采样帧进行人脸检测,并将提取的人脸喂给CNN,以获取特征作为实例。

在实例设计上,与传统多实例学习的设定一样,实例与实例间是相互独立的。

你是唯一一个被AI Deepfake的人

为此,研究人员设计了时空实例,用来刻画帧间一致性,用于辅助deepFAke检测。

具体而言,使用文本分类里常用的1-d卷积,使用不同大小的核对输入的人脸序列从多视角上进行编码,以得到时空实例,用于最终检测。

你是唯一一个被AI Deepfake的人

其中,pi和p(i)^(j)分别是第i个包及其包里的第j个实例的正类概率;M为包里的实例数;w是网络参数;h(i)^(j)是包i里的实例j对应的特征。

你是唯一一个被AI Deepfake的人

由于现有的带帧标签的数据集中,同一视频中真假人脸混杂的样本较少,研究人员还构建了一个部分攻击数据集FFPMS。

FFPMS共包含14000帧,包括4种类型的造假视频(DF、F2F、FS、NT)和原始视频,既有帧级标签,也包含视频级标签。

你是唯一一个被AI Deepfake的人

实验结果表明,假脸的权重比较高,说明该方法在仅需视频级别标签的情况下,可以很好地定位到假脸,具有一定的可解释性:

你是唯一一个被AI Deepfake的人

你是唯一一个被AI Deepfake的人

你是唯一一个被AI Deepfake的人