蓝盾股份致力于AI安全的研究，旨在提供一个令用户放心的AI应用安全环境，为构建智能世界的新时代愿景与使命做出贡献。
AI有巨大的潜能改变人类命运，但是我们一直以来也都忽略了一个显然易见且重要的安全问题：AI本身也不安全。最近的新闻恰如其分地提醒了我们这一点。例如，谷歌被曝其机器学习框架TensorFlow中存在的严重安全风险，可被黑客用来制造安全威胁，谷歌方面已经确认了该漏洞并做出了整改回应。虽然这些漏洞本身没有带来实质威胁，但诸如此类的消息还是让一些人感到了不安。
TensorFlow、Torch、Caffe这些深度学习开发框架，差不多是如今AI开发者与研究者的标准配置，但这些平台最近却纷纷被曝光存在安全漏洞和被黑客利用的可能性。某种意义上来说，这些消息在提醒我们同一个问题：当我们急切的将资金与用户关系聚集在机器学习上时，也可能是将巨大的安全性问题捆绑在了身上。
AI安全面临五大挑战
AI本身安全风险存在的根本原因是AI算法设计之初普遍未考虑相关的安全威胁，使得AI算法的判断结果容易被恶意攻击者影响，导致AI系统判断失准。在工业、医疗、交通、 监控等关键领域，安全危害尤为巨大;如果AI系统被恶意攻击，轻则造成财产损失，重则威胁人身安全。
AI安全风险不仅仅存在于理论分析，并且真实的存在于现今各种AI应用中。例如攻击者通过修改恶意文件绕开恶意文件检测或恶意流量检测等基于AI的检测工具;加入简单的噪音，致使家中的语音控制系统成功调用恶意应用;刻意修改终端回传的数据或刻意与聊天机器人进行某些恶意对话，导致后端AI系统预测错误;在交通指示牌或其他车辆上贴 上或涂上一些小标记，致使自动驾驶车辆的判断错误。
AI安全——典型攻击方式
对抗样本：研究表明深度学习系统容易受到精心设计的输入样本的影响。这些输入样本就是学术界定义的对抗样例或样本，即Adversarial Examples。它们通常是在正常样本上加入人眼难以察觉的微小扰动，可以很容易地愚弄正常的深度学习模型。 微小扰动是对抗样本的基本前提，在原始样本处加入人类不易察觉的微小扰动会导致深度学习模型的性能下降。Szegedy等人在2013年最早提出了对抗样本的概念。在其之后，学者相继提出了其他产生对抗样本的方法，其中Carlini等人提出的CW攻击可以在扰动很小的条件下达到100%的攻击成功率，并且能成功绕过大部分对抗样本的防御机制。
对抗样本传递性：生成对抗样本需要知道AI模型参数，但是在某些场景下攻击者无法得到模型参数。Papernot 等人发现对一个模型生成的对抗样本也能欺骗另一个模型，只要两个模型的训练数据是一样的。这种传递性 (Transferability)可以用来发起黑盒攻击，即攻击者不知道AI模型参数。其攻击方法是，攻击者先对要攻击的模型进行多次查询，然后用查询结果来训练一个“替代模型”，最后攻击者用替代模型来产生对抗样本。产生出来的对 抗样本可以成功欺骗原模型。
模型窃取攻击：模型/训练数据窃取攻击是指攻击者通过查询，分析系统的输入输出和其他外部信息，推测系统模型的参数及训练数 据信息。与Software-as-a-Service类似，云服务商提出了AI-as-a-Service(AIaaS)的概念，即由AI服务提供商负 责模型训练和识别等服务。这些服务对外开放，用户可以用其开放的接口进行图像，语音识别等操作。Tramèr等学者提出一种攻击，通过多次调用AIaaS的识别接口，从而把AI模型“窃取”出来。这会带来两个问题:一是知识产权的窃取。样本收集和模型训练需要耗费很大资源，训练出来的模型是重要的知识产权。二是前文提到的黑盒闪避攻击。攻击者可以通过窃取的模型构造对抗样本。
AI安全——典型攻击场景
欺骗人脸识别：图像识别和人脸识别是AI如今最为落地的技术之一。AI的有效性很大程度取决于训练样本，而对抗样本则是在数据中故意加入细微的干扰，导致模型以高度置信给出一个错误的判断。有专家指出：AI安全的问题最终还是发生在AI的系统上，难以让安全人员去解决，最终解决AI问题还应该是AI的研究者；而安全工作者需要的是帮助AI研究者发现系统中的安全隐患，然后和AI研究者协作，做好AI的安全工作。
秒破手机指纹锁：手机指纹锁是现在越来越受欢迎的一种手机认证方式。而随着人们对“全屏”手机的追求，手机厂商们也逐渐直接在触摸屏上直接加入指纹验证，而不是在屏幕外制作一个指纹验证区。研究员仅仅用了一张普通的磁卡，将手指按压在放置在手机屏幕的磁卡上，就可以成功解锁了手机。这个被称为“残迹重用”漏洞的原理，是因为由于触摸屏本身的性质，因此在指纹识别时会用到光学技术来捕捉屏幕上的指纹痕迹。而用户在使用手机时，由于会在显示屏上留下指纹，攻击者就可以通过反射体欺骗的方式，利用残留的指纹，欺骗手机系统。
“智障”家居？随着AI技术的发展，智能家居也越来越热门。但是，我们是否真的能放心地将自己的居住环境交给系统呢？早在2013年，Black Hat（黒帽技术大会）的黑客就展示其可以成功破解智能家居门锁、智能电源插座、智能家居控制中心以及其它一些智能家居设备。在今年的GeekPwn现场挑战中，评委点击了一条来自黑客的钓鱼短信，就使得攻击者成功通过手机作为入口，对家居设备进行攻击。在短短二十分钟时间内，扫地机器人、播放器、电视机等设备相继被攻陷：扫地机器人突然启动开始到处跑、攻击者通过智能播放器反过来窃听到了室内工作人员的聊天内容、电视机突然开始播放其他内容。
蓝盾股份致力于AI安全的研究，旨在提供一个令用户放心的AI应用安全环境，为蓝盾AI构建智能世界的新时代愿景与使命做出贡献。未来，蓝盾股份的AI安全任重而道远。在技术上，需要持续研究AI可解释性，增强对机器学习工作机理的理解，并构建机制性防御措施搭建AI安全平台。
注：本篇我们主要分析了AI安全中所面临的危机，攻击手段和场景，下篇我们将会主要分析防御手段。
