智能汽车 · 2023年11月26日 0

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

9月16日消息,以“共筑AI安全 安享智能未来”为主题的AISC首届人工智能安全大赛圆满落幕。

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

大赛工作人员演示对抗样本攻击人脸识别门禁系统

试想一下,有人将一张“神奇的贴纸”放置在面部,就可以使人脸识别门禁系统误认为是你,从而轻而易举打开大门;同样是这张“神奇的贴纸”,把它放置在眼镜上,就可以1秒解锁你的手机人脸识别,探取你的隐私如入无人之境。这并非科幻大片的想象,而是首届人工智能安全大赛颁奖典礼现场展示的真实攻防场景。

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

瑞莱智慧首席执行官田天

从人的视角来评估AI的安全问题,首当其冲就是技术的两面性问题,存在AI滥用甚至“武器化”的问题。具体到人工智能的应用中来看,最为典型的代表就是深度伪造技术,它的负向应用风险持续加剧且已产生实质危害。

而现场的人脸识别破解演示,所揭示的正是系统的风险,它来自于深度学习算法本身的脆弱性。以深度学习算法为核心的第二代人工智能是个“黑盒子”,具有不可解释性,意味着系统存在结构性的漏洞,可能受到不可预知的风险,典型的就比如现场演示的“神奇贴纸”,其实就是“对抗样本攻击”,通过在输入数据中添加扰动,使得系统作出错误判断。

这一漏洞在自动驾驶感知系统同样存在,瑞莱智慧演示了用对抗样本攻击自动驾驶汽车。正常情况下,在识别到路障、指示牌、行人等目标后,自动驾驶车辆就会立即停车,但在目标物体上添加干扰图案后,车辆的感知系统就会出错,径直撞上去。

安全的本质在于对抗升级,构建安全需要一个持续攻防演进的过程。田天表示,大赛聚焦人工智能真实应用场景中的典型漏洞及风险,以赛促建、以赛促研,通过考核参赛队伍的漏洞发现、漏洞挖掘等能力,探索新型安全需求场景,推动AI攻防技术创新,为强化人工智能治理体系与安全评估能力建设提供支撑。

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

深度伪造安全竞赛前三名

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

自动驾驶安全竞赛前三名

人工智能安全大赛揭晓 人脸识别、自动驾驶、深度伪造三大赛道冠军

人脸识别安全竞赛前三名

此外,活动现场,由国家工业信息安全发展研究中心牵头,联合华为技术有限公司和北京瑞莱智慧科技有限公司共同撰写的《人工智能算力基础设施安全发展白皮书》正式发布。

白皮书围绕人工智能算力基础设施安全发展的意义、内涵与体系架构、安全管理现状、发展建议等方面展开深入研究。白皮书指出,人工智能算力基础设施不同于传统的算力基础设施,既是“基础设施”又是“人工智能算力”也是“公共设施”,具有基建属性、技术属性、公共属性三重属性。相应地,推动人工智能算力基础设施安全发展应从强化自身安全、保障运行安全、助力安全合规三个方面发力,通过强化自身的可靠性、可用性与稳定性,保障算法运行时的机密性与完整性,提升用户的安全管控力、认可度与合规性等八个领域筑牢人工智能安全防线,打造可信、可用、好用的人工智能算力底座,营造安全、健康、合规发展的人工智能产业生态。