对抗性数据需警惕,科学家已经测试“欺骗”了一辆无人车 星际种田记 - 风云对话 - 智学网
IT资讯
当前位置:智学网 > IT资讯 >  风云对话

对抗性数据需警惕,科学家已经测试“欺骗”了一辆无人车

2019-07-21 21:31:12 网易科技 Yuki 编辑:琳达 浏览数:38智学网

近年来,人工智能已经取得了长足的进步,但正如许多人工智能使用者所表明的那样,人工智能仍然容易出现一些人类并不会犯的惊人错误。虽然这些错误有时可能是人工智能进行学习时不可避免的后果,但越来越明显的是,一个比我们意想中严重得...

近年来,人工智能已经取得了长足的进步,但正如许多人工智能使用者所表明的那样,人工智能仍然容易出现一些人类并不会犯的惊人错误。虽然这些错误有时可能是人工智能进行学习时不可避免的后果,但越来越明显的是,一个比我们意想中严重得多的问题正带来越来越大的风险:对抗性数据。

对抗性数据描述了这样一种情况,人类用户故意向算法提供已损坏的信息,损坏的数据打乱了机器学习过程,从而欺骗算法得出虚假的结论或不正确的预测。

作为一名生物医学工程师,笔者认为对抗数据是一个值得关注的重要话题。最近,加州大学伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺骗”了一辆自动驾驶汽车,让它以为停车标志上的限速是每小时45英里。

这种性质的恶意攻击很容易导致致命的事故。同样地,受损的算法数据可能导致错误的生物医学研究,重则危及生命或影响医学事业的创新发展。

直到最近,人们才意识到对抗性数据的威胁,我们不能再忽视它了。

对抗性数据是如何产生的呢?

有趣的是,即使不带任何恶意,也可能产生对抗性数据的输出。这在很大程度上是因为算法能够“观察”到我们人类无法识别的数据中的东西。由于这种可见性,麻省理工学院最近的一个案例研究将对抗性描述为一种特性,而不是故障。

在这项研究中,研究人员将人工智能学习过程中的“鲁棒性”和“非鲁棒性”特征进行了分离。鲁棒特征通常可以被人类感知到,而非鲁棒特征只能被人工智能检测到。研究人员尝试用一种算法让人工智能识别猫的图片,结果显示,系统通过观察图像中的真实模式,却得出错误的结论。

错误识别发生的原因是,人工智能看到的是一组无法明显感知的像素,使得它无法正确识别照片。这导致在识别算法的过程中,系统在无意中被训练成使用误导模式。

这些非鲁棒性特征作为一种“干扰噪声”,导致算法的结果存在缺陷。因此,黑客要想干扰人工智能,往往只需要引入一些非鲁棒特性,这些特性不容易被人眼识别,但可以明显地改变人工智能的输出结果。

对抗性数据和黑暗人工智能的潜在后果

正如安全情报局的穆阿扎姆·汗所指出的,依赖于对抗性数据的攻击主要有两种类型:“中毒攻击”和“闪躲攻击”。在中毒攻击中,攻击者提供了一些输入示例,这些输入示例使得决策边界转移向对攻击者有利的方向;在闪躲攻击中,攻击者会使得程序模型对样本进行错误分类。

例如,在笔者所熟悉的生物医学环境中,对抗性数据的攻击可能会导致算法错误地将有害或受污染的样本标记为良性且清洁,这就可能导致错误的研究结果或不正确的医疗诊断。

让人工智能学习算法也可以被用来驱动专门为帮助黑客而设计的恶意人工智能程序。正如《恶意人工智能报告》所指出的,黑客可以利用人工智能为他们的各项破坏活动提供便利,从而实现更广泛的网络攻击。

分享到:

版权与免责声明:

凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


本文地址:http://www.nghoc.com/news/2019/07/21/120059007.html

转载本站原创文章请注明来源:智学网

行业聚焦

“老人与海”黑科技,罗永浩发布Sharklet鲨纹材料:能够抑菌

IT之家12月3日消息 今天,罗永浩的“老人与海”黑科技发布会正式举行,罗永浩的相声来了。罗永浩发布了能够抗菌的材料Sharklet,不改变原有材料的本质和特性...[详细]

滴滴升级快车拼车 与顺风车本质完全不同

近日,滴滴出行升级了快车拼车“拼成出发”的新功能,不过其与顺风车本质上有着完全不同。拼车和顺风车都是分享性质,在2017年,滴滴就公布顺风车和快车拼车服务累计分...[详细]

苹果员工支持库克结交川普:对公司有利,库克很有“战术”

据《财富》网站报道,上周,特朗普与库克一起参观了位于美国奥斯汀的苹果工厂。此后开展的一项调查显示,苹果员工表示完全支持库克交好特朗普。这项调查是《财富》杂志联合...[详细]

16999元还需抢购,华为Mate X 5G折叠屏今日上午10点08再次开售

IT之家11月22日消息 据华为商城官方消息,华为Mate X 5G折叠屏手机将于11月22日10:08开售,赠半价换屏服务,售价为16999元。仍然是限量抢购...[详细]

工信部:前三季度互联网和相关服务业完成业务收入8604亿元

IT之家11月1日消息 今日工业和信息化部在官方网站发布《2019年前三季度互联网和相关服务业运行情况》,表示今年前三个季度我国互联网和相关服务企业(简称互联网...[详细]

活动互动

更多

诺基亚在日本仙台沿海测试无人机海啸预警

 

诺基亚官方消息,近日,诺基亚基于数字自动化云的LTE专网,在日本仙台沿海地区成功进行了无人机的试飞,测试了在海啸或其他自...[详细]

卢伟冰:Redmi K30支持液冷散热

 

IT之家12月1日消息 距离Redmi K30发布会越来越近了,小米的微博发布会估计也快开始了。今日,小米集团副总裁、红...[详细]

不要再期待像Windows 10版本1909这样的小更新了

 

IT之家11月23日消息 微软在11月12日将Windows 10 1909版本(2019年11月更新)推送给消费者用户...[详细]

西安一小区门禁采用人脸识别引争议:直接提交照片即可

 

IT之家11月28日消息 据华商报报道,近日西安市曲江某小区南区车库和住宅楼电梯间之间的门廊启用了人脸识别系统,这引起了...[详细]

紫光展锐宣布正式发布春藤5623 Wi

 

今日,紫光展锐宣布正式发布第三代Wi-Fi 5 (11ac) 无线连接解决方案—春藤5623,专为智慧家庭应用打造。在...[详细]

一周排行每月关注