腾讯如何应用AI技术解决安全挑战？
在6月30日举办的CCF-GAIR智能安全专场中，腾讯安全平台部总监胡珀带来了《从危到机，AI时代下的安全挑战》的演讲。
胡珀现任腾讯安全平台部总监，腾讯安全平台部Blade Team负责人，是国内首个漏洞奖励平台TSRC负责人。
自2007年加入腾讯以来，他一直从事国际范围内的前沿安全攻防技术、黑客攻防技术对抗研究，包括人工智能（AI）、物联网、移动互联网、数据安全等，先后负责过漏洞扫描、恶意网址检测、主机安全、DDoS攻击防护系统的建设和运营以及应急响应、前沿安全、安全培训、安全研究、漏洞奖励计划等工作。
以下是胡珀在现场的演讲，宅客频道做了不改变原意的编辑整理。
今天非常荣幸能够分享一下腾讯在AI安全方面所做的一些事情。先做一个自我介绍，我叫胡珀，在腾讯安全平台部工作了11年，一直在从事黑客攻防对抗方面的工作。我的一部分工作是属于安全研究，一直以来我们的理念就是安全绝不仅仅是被动的事后处理，而是也要主动研究最前沿、最尖端的技术，用未雨绸缪的前瞻性研究来武装我们的工作。
为此，我们也组建了一支团队——Tencent Blade Team，专门进行安全的前沿研究，研究重点随着腾讯和整个安全行业面临的实际场景不断进行调整变化。比如最开始是研究Web安全，后来逐渐向移动互联网安全、物联网安全转型。
近年来随着AI大规模工程化、实用化，我们也加大了对 AI 智能设备安全方面的研究，这个演讲就是对我们研究的总结。
AI是下一次的工业革命，我们现在不管是开会、人脸识别、车牌识别，还有智慧城市、智慧零售，还是智能手环、智能手机、智能音箱等，AI越来越渗透到我们的生活里。
所有东西都AI了，基本上各个行业也都会引入AI，我们去（会场）外面看一下，全是各种智能的设备。
但是物联网设备或者所谓的智能设备渗透到各行各业，到我们生活之中，可能会带来很大的安全隐患。
比如智能音箱有接收语音指令的功能，如果音箱被黑客控制的话，就可能会变成窃听器。同理，摄像头如果被黑掉，也可能被用来监视我们。
今天我要讲的主要分为两部分
第一部分是以智能设备为典型代表的AI存在的安全问题
第二部分讲腾讯把AI应用到安全场景去做安全检测或者安全防护上的实践。
AI的安全问题我们总结了一下，大概归为三类：
第一类就是AI算法自身的安全问题，前面几位老师也有讲到，比如现在我们的图像识别，图像欺骗，自己用PS定制一张图片，加一些像素进去，会导致自动驾驶出问题。
第二类就是AI系统引入第三方的组件，但这些组件也会存在问题，这就是传统的安全问题了，包括对文件的处理，对网络协议的处理，各种外部输入协议的处理都可能会出问题。
第三类就是黑产也会用到AI。大家不要以为AI只是停留在学术界或者是工业界，其实现在黑产也大量在使用AI，之前我们处理过一个案子，就是黑产用机器学习的算法来识别验证码，最高可以达到80%到90%的识别率，这个团伙被摧毁后，我们发现这是我们见过的科技含量最高的黑产之一。
首先我们会发现，AI是很容易被带坏的。
这是微软推出的机器人，通过跟网友对话进行学习，恶意的网友就会乱教它，比如骂脏话，甚至是种族歧视。
前面的老师也讲过，现在AI是孩子，你教什么就学什么，结果学坏了，最后骂人，后来微软马上下架去修改，这就是一种样本的问题。
第二个问题就是AI会被蒙蔽。
只需要一些简单的操纵，人眼看起来毫无区别，AI识别却会得出完全错误的结果。比如这是一个人脸识别系统，给一张照片会识别出这个人的性别、年龄、表情、魅力值，第一张图正常图片可以识别出是男性，21岁，表情黯然伤神，但是如果经过特殊处理，加一些图层进去，对我们人眼没有影响，但就会被AI就识别成女性，20岁。另外两个也是，叠加图层上去，整个AI识别结果完全颠覆了，结果变成了男性，36岁。我们进行了测试，最大会有20%的识别错误几率。
针对标识的识别也是如此。我们可以看到，通过类似的图层叠加手法，会严重影响AI的识别结果。比如第一张图可以直行，第二张图加入图层后，我们人眼识别完全没变化，但到AI去识别就可以直行也可以右转，限速30变成限速80。这就是对AI的攻击。大家可以想像，如果这个攻击案例被用到了实际环境，可能直接导致车毁人亡的严重情况。
第三个问题就是被污染，也就是在AI的底层框架存在的问题。
比如谷歌的深度学习系统TensorFlow，Tencent Blade Team研究之后，发现它其实存在一些传统的网络安全问题，比如恶意构造一个模型文件，格式经过特殊构造就可以控制它整个AI系统，然后可以算出AI系统的设计或者架构问题。除此之外，如果引用了恶意的第三方组件，也会导致系统崩溃，拿到系统权限。
这些漏洞我们都报给了官方，并拿到了致谢。这些系统如果底层出问题，被黑客利用，后果是灾难性的，所以现在产业界、学术界都非常关注AI的底层架构安全。
第四，许多智能设备都可能被控制。
比如智能音箱可能被窃听，我们团队对市面上的一些智能音箱做了一系列研究，许多智能音箱都有安全问题，包括协议的解析和认证授权等，其实还是传统的安全问题。如果大家感兴趣，可以在今年8月份在拉斯维加斯的DEF CON上关注我们介绍智能音箱的漏洞技术细节的议题。
智能音箱也存在被窃听的问题，小米和亚马逊都出现过安全问题，它们对协议的解析和认证授权有问题。
如果大家感兴趣，我们会在今年8月份，在拉斯维加斯讲亚马逊智能音箱的漏洞技术细节。
另外就是智慧城市，现在很多地方都引入了智慧城市，里面会用很多新的协议，比如 IoT 的协议，这个也存在许多安全隐患。
我们选用腾讯大厦作为目标进行了测试，发现它所使用的智能楼宇设备协议和加密通讯存在一些技术风险，这就造成我们可以通过远程控制某一层的会议室灯、空调、窗帘，包括插座等。
我们当时放了一个无人机到顶楼，挂了一个信号发射器，实现了对整层楼的开灯关灯关窗帘的控制，在欧洲的HITB安全峰会上我们也详细讲了这个漏洞的技术细节。
因为供应商是国外的，我们把问题报给官方，也修复了，做这个实验本身就是希望把这个问题修复掉。
