微信
关注官方微信
手机版
华夏小康网  >  科技 > 正文

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

真的存在「隐形衣」吗?

在人脸识别无处不在的今天,这个倒是可以有。

只要穿上这么一件T恤,就能骗过人脸识别AI,从而达到「隐身」效果。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

这就是由美国东北大学和MIT等研究机构,共同提出的Adversarial T-shirt——基于对抗样本的T恤衫。

据研究人员介绍,这是全球首个在非刚性物体(如T恤)上,进行的物理对抗性实例。

也就是说,在被AI检测过程中,无论衣服发生任何褶皱或变形,都能达到「隐身」效果。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

并且,这项研究已经入选计算机视觉顶级会议 ECCV 2020 的焦点论文(SpotlightPaper)。

而这,也引发了人们对人工智能时代下,安全隐患的思考。

T恤上的「印花」就能愚弄AI

其实,达到所谓的「隐身」效果,其实就是愚弄AI的「视觉系统」。

这项研究也一定程度说明,目前所谓比较成熟的计算机视觉技术,具有一定的脆弱性。

例如,目前很多公司上班打卡都是通过人脸认证,但若是哪天穿了这种具有「对抗性」的T恤,迟迟打不上卡……

嗯,那种焦灼痛苦,你品,你细品。

那么,这款T恤的隐形效果到底是如何实现的呢?

这里所涉及到的关键技术就是对抗攻击(Adversarial Attack),目的就是让AI模型做出误判。

研究人员设计这款「隐形衣」的过程中,主要分为三个步骤:

首先,让实验人员穿着印有棋盘图案的T恤走动并录视频,将视频中的帧作为训练数据。

其次,将通用的对抗性扰动应用于布料区域。

最后,优化对抗性扰动,优化过程通过反向传播,作为一个闭环而进行。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

这个过程中,一个关键因素就是解决T恤因褶皱、变形,所导致的降低攻击成率问题。

对此,研究人员提出了一种叫做TPS(Thin Plate Spline)变化的方法,来模拟衣服褶皱的情况。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

然后将得到的TPS变化,融入到EOT(Expectation over Transformation)算法中,这样就可以在现实世界的非刚性物体上,生成对抗样本。

再从定量分析的角度来看,研究人员提出的方法,在Faster R-CNN和YOLOv2模型上的攻击成功率,分别达到了61%和74%。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

但也正如研究人员所说:

这个攻击方法并不是完美的。

如下图所示,方法对于角度和距离还是比较敏感的——较大的变形角度、较远的距离,都会让攻击成功率下降。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

全球首个针对目标检测算法的对抗攻击竞赛

从这样的一件T恤中,我们可以发现,AI模型还是比较脆弱的。

或许在我们人类眼中,轻微的图像扰动并不会造成失误判断,但对于AI模型来说却不是如此。

安全,也向来是个不可忽视,且需要持续关注的问题,新鲜的血液和思想的碰撞必不可少。

像穿了一件具有「对抗性」图案的T恤,就识别不出人脸,打不上卡这种事情,也会对我们的日常生活造成困扰。

为此,阿里安全携手清华大学,联合举办全球首个针对目标检测算法的对抗攻击竞赛——安全AI挑战者计划:

以对抗样本为核心,假想未来作为安全AI防守者的身份,结合内容安全场景,从文字、图像、视频、声音等多个领域,针对对抗样本技术召集「挑战者」共同打磨AI模型安全。

2019年8月-2020年3月,挑战者计划第一季成功举办第一期人脸对抗识别比赛、第二期ImageNet图像对抗比赛、第三期辱骂场景文本对抗比赛。

共吸引了全球200多所高校100多家企业的3587支队伍参加。

而今年的安全AI挑战者计划,是第一季的升级传承,将业内的模型安全问题体系化、标准化,并形成一个优秀的社区。

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

并且,挑战者计划第二季第四期已启动!详情如下。

第四期题目价值

阿里安全举办了全球首个结合黑盒白盒场景,针对多种目标检测模型的对抗攻击竞赛。

比赛采用COCO数据集,其中包含20类物体。

比赛任务是通过向原始图像中添加对抗补丁(adversarial patch)的方式,使得典型的目标检测模型不能够检测到图像中的物体,绕过目标定位。

为了更好的评价选手的攻击效果,阿里安全创造了全新的得分计算准则——除了加入攻击成功率之外,还对添加补丁的数量和大小进行了约束。

选手添加的补丁数量、修改的像素和模型识别到的包围盒越少,则代表攻击更加成功,得分则越高。

此外,为了保证比赛的难度,阿里安全选取了4个近期的SOTA检测模型作为攻击目标,包括两个白盒模型——YOLO v4和Faster RCNN和另外两个未知的黑盒模型。

赛程安排

阿里和清华联手一呼:我们给钱给资源,求解这些AI安全难题

双周榜-算力自由

为满足选手因疫情在家服务器短缺的痛点,特发起「挑战者服务器免费送」活动。

玩法:每两周公布一次排行榜(8月3日、8月17日、8月31日),TOP 6队伍将获得1000元的阿里云服务器代金券,可兑换购买任意服务器。

规则:共三轮双周榜,TOP 6队伍如有重复,则顺延1000元服务器名额(为保证更多同学享受算力自由);作为心灵慰藉,重复的队伍将收到200元天猫超市购物卡。

产品可选择按量和包月,具体可自由选择。

激励设置

第一名:每支队伍奖金30000元

第二名:每支队伍奖金15000元

第三名:每支队伍奖金10000元

第四-六名:每支队伍奖金3000元

第七-十名:每支队伍奖金1000元

奇思妙想奖:阿里巴巴20周年限定勋章礼盒(奖励给思路有创意的同学,上不设限)

荣誉证书:前十名队伍和奇思妙想奖,每位同学都将获得阿里和清华共同颁发的顶级证书

线下颁奖:优秀队伍将受邀参加10月的CIKM会议,并在国际舞台担任speaker分享思路

绿色通道:总成绩排名Top20的队伍,可获得阿里安全校招绿色通道

如此有趣、刺激的挑战,还有这么丰厚的奖励,你有心动吗?

— 完 —

编辑:
返回顶部