对抗性数据需警惕,科学家已经测试“欺骗”了一辆无人车 星际种田记 - 风云对话 - 智学网
<
    <b id='dbbccf'><code id='dbbccf'><strike id='dbbccf'><optgroup id='dbbccf'><small id='dbbccf'><b id='dbbccf'></b></small></optgroup></strike></code></b>
    <
  • <
  • <legend id='dbbccf'><strong id='dbbccf'><ul id='dbbccf'><dl id='dbbccf'><strong id='dbbccf'><acronym id='dbbccf'><big id='dbbccf'></big></acronym><</strong></dl></ul><</strong></legend>
    <

    <
      <
    <
          <fieldset id='dbbccf'><th id='dbbccf'><tt id='dbbccf'><center id='dbbccf'></center><acronym id='dbbccf'></acronym></tt></th></fieldset>

          IT资讯
          当前位置:智学网 > IT资讯 >  风云对话

          对抗性数据需警惕,科学家已经测试“欺骗”了一辆无人车

          2019-07-21 21:31:12 网易科技 Yuki 编辑:琳达 浏览数:38智学网

          近年来,人工智能已经取得了长足的进步,但正如许多人工智能使用者所表明的那样,人工智能仍然容易出现一些人类并不会犯的惊人错误。虽然这些错误有时可能是人工智能进行学习时不可避免的后果,但越来越明显的是,一个比我们意想中严重得...

          近年来,人工智能已经取得了长足的进步,但正如许多人工智能使用者所表明的那样,人工智能仍然容易出现一些人类并不会犯的惊人错误。虽然这些错误有时可能是人工智能进行学习时不可避免的后果,但越来越明显的是,一个比我们意想中严重得多的问题正带来越来越大的风险:对抗性数据。

          对抗性数据描述了这样一种情况,人类用户故意向算法提供已损坏的信息,损坏的数据打乱了机器学习过程,从而欺骗算法得出虚假的结论或不正确的预测。

          作为一名生物医学工程师,笔者认为对抗数据是一个值得关注的重要话题。最近,加州大学伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺骗”了一辆自动驾驶汽车,让它以为停车标志上的限速是每小时45英里。

          这种性质的恶意攻击很容易导致致命的事故。同样地,受损的算法数据可能导致错误的生物医学研究,重则危及生命或影响医学事业的创新发展。

          直到最近,人们才意识到对抗性数据的威胁,我们不能再忽视它了。

          对抗性数据是如何产生的呢?

          有趣的是,即使不带任何恶意,也可能产生对抗性数据的输出。这在很大程度上是因为算法能够“观察”到我们人类无法识别的数据中的东西。由于这种可见性,麻省理工学院最近的一个案例研究将对抗性描述为一种特性,而不是故障。

          在这项研究中,研究人员将人工智能学习过程中的“鲁棒性”和“非鲁棒性”特征进行了分离。鲁棒特征通常可以被人类感知到,而非鲁棒特征只能被人工智能检测到。研究人员尝试用一种算法让人工智能识别猫的图片,结果显示,系统通过观察图像中的真实模式,却得出错误的结论。

          错误识别发生的原因是,人工智能看到的是一组无法明显感知的像素,使得它无法正确识别照片。这导致在识别算法的过程中,系统在无意中被训练成使用误导模式。

          这些非鲁棒性特征作为一种“干扰噪声”,导致算法的结果存在缺陷。因此,黑客要想干扰人工智能,往往只需要引入一些非鲁棒特性,这些特性不容易被人眼识别,但可以明显地改变人工智能的输出结果。

          对抗性数据和黑暗人工智能的潜在后果

          正如安全情报局的穆阿扎姆·汗所指出的,依赖于对抗性数据的攻击主要有两种类型:“中毒攻击”和“闪躲攻击”。在中毒攻击中,攻击者提供了一些输入示例,这些输入示例使得决策边界转移向对攻击者有利的方向;在闪躲攻击中,攻击者会使得程序模型对样本进行错误分类。

          例如,在笔者所熟悉的生物医学环境中,对抗性数据的攻击可能会导致算法错误地将有害或受污染的样本标记为良性且清洁,这就可能导致错误的研究结果或不正确的医疗诊断。

          让人工智能学习算法也可以被用来驱动专门为帮助黑客而设计的恶意人工智能程序。正如《恶意人工智能报告》所指出的,黑客可以利用人工智能为他们的各项破坏活动提供便利,从而实现更广泛的网络攻击。

          分享到:

          版权与免责声明:

          凡未注明"稿件来源"的内容均为转载稿,本网转载出于传递更多信息的目的;如转载稿涉及版权问题,请作者联系我们,同时对于用户评论等信息,本网并不意味着赞同其观点或证实其内容的真实性;


          本文地址:http://www.nghoc.com/news/2019/07/21/120059007.html

          转载本站原创文章请注明来源:智学网

          行业聚焦

          个推大数据:华为下沉三四线,或与OV抢市场

          站在5G时代的开端,面对竞争愈演愈烈的国产智能手机市场,手机品牌表现如何呢?据个推大数据日前发布的《2019Q2安卓智能手机报告》显示,国内智能手机市场头部优势...[详细]

          报告:游戏消费占Q2全球移动端软件市场总消费的75%

          IT之家7月15日消息 2019年第二季度移动端游戏市场数据创下新纪录,iOS和Google Play应用软体下载量超过303亿次,用户消费近226亿美元。这其...[详细]

          京东730领券指南:cherry轴机械键盘268元,酸奶满199

          7月30日:酸奶满199-80,ikbc cherry轴机械键盘268元,22点抢话费满30-10元优惠券,领3-5元全品类优惠券,话费券49-2每日福利社可兑...[详细]

          新浪微博被约谈 因“明星势力榜”被多次投诉

          上周,周杰伦粉丝与蔡徐坤粉丝的世纪大战才刚刚落幕,便有消息称新浪微博被约谈,而被约谈的原因是“明星势力榜”被多次投诉所致。自7月16日起,市消协96315投诉、...[详细]

          2019华为开发者大会即将召开 方舟编译器将成为重点内容

          2019华为全球开发者大会将在8月9日-11日在华为松山湖基地召开。本次开发者大会邀请了1500位合作伙伴、5000名全球开发者,将是华为历来规模最大的一次会议...[详细]

          活动互动

          更多

          华硕ROG电竞光刃主机上架:i7

           

          IT之家8月10日消息 华硕ROG G21CN电竞光刃主机上架,采用英特尔i7-8700处理器和英伟达RTX2060显卡...[详细]

          特斯拉:Model 3将支持全美第三方快充服务

           

          近日,有外媒报道称,特斯拉Model 3将支持全美第三方快充服务,这对车主无疑是个好消息。特斯拉最新发布的消息称,Mod...[详细]

          中国气象局:超强台风“利奇马”的一生

           

          IT之家8月14日消息 刚刚,中国气象局官方发文《超强台风“利奇马”的一生》,概述了台风“利奇马”从西北太平洋洋面诞生到...[详细]

          男子在微信朋友圈骂人被罚1000元,法官称已构成名誉侵权

           

          IT之家8月5日消息 据法制日报报道,日前,重庆市合川区人民法院判决了一起因当事人在朋友圈骂人最终赔偿对方精神损害抚慰金...[详细]

          苹果10亿美元迎娶英特尔5G基带业务,但iPhone 12还得用高通5G

           

          7月26日早间消息,苹果正式宣布,已同意收购英特尔智能手机调制解调器部门的相关业务。根据声明,苹果收购了英特尔大概170...[详细]

          一周排行每月关注