神经网络可以被劫持?谷歌大脑研究员演示AI黑客行为

幸运草
幸运草
幸运草
878
文章
3
评论
2020年5月14日20:12:44 评论 68

计算机视觉算法并不完美。上个月,研究人员证明了一个流行的对象检测API可能会被愚弄,在一些情况下,算法可以将猫识别为“疯狂的被子”,“迷彩”,“马赛克”和“拼凑图”。当然,这还不是最糟糕的情况:它们还有可能被劫持,执行本不该做的任务。

谷歌的人工智能研究部门Google Brain的研究人员在一篇名为《神经网络的对抗重组》的论文中,描述了一种本质是重新编程机器学习系统的对抗方法。这种转移学习的新形式甚至不要求攻击者指令输出。

对此,研究人员表示:“我们的研究结果首次证明了针对神经网络重新编程的敌对攻击的可能性。这些结果表明,深层神经网络带有令人惊讶的灵活性和脆弱性。”

其工作流程是这样的:攻击者获得了一个参与对抗神经网络的参数后,这个神经网络正在执行一个任务,然后以转换为输入图像的形式引入干扰或对抗数据。当敌对的输入被嵌入到网络中,他们就可以将其学习的特性重新设计为另一项新的任务。

科学家们在6个模型中测试了这个方法。通过嵌入来自MNIST计算机视觉数据集的操作输入图像,他们成功获得了所有六种算法来计算图像中方块的数量,而不仅仅是识别像"白鲨"或"鸵鸟"这样的物体。在第二个实验中,他们强迫其对数字进行分类。之后第三次测试,他们使用了识别来自cifar 10的图像的模型,这是一个对象识别数据库,而不是他们最初接受的ImageNet语料库。

神经网络可以被劫持?谷歌大脑研究员演示AI黑客行为

攻击者可以利用此类攻击进行计算资源窃取,举个例子,在云托管的照片服务中重新编程计算机视觉分类器,以解决图像验证码或者挖掘加密货币。尽管论文作者并没有在一个反复出现的神经网络(一种通常用于语音识别的网络)上展开测试,但他们假设一个成功的攻击可能会导致此类算法会执行“大量的任务”。

研究人员表示:“对抗程序也可以被用作一种新的方式来实现更传统的计算机黑客行为。”比如,随着手机逐渐成为人们的AI助手,通过将手机暴露在敌对的图像或音频中,或许可以重新编辑某人的手机也是很有可能的。由于这些数字助理可以访问用户的电子邮件、日历、社交媒体账户和信用卡等,这类攻击产生的后果也会非常严重。

但幸运的是,这也不全然是一个坏消息。研究人员注意到,随机神经网络似乎比其他神经网络更不容易受到攻击,反而针对机器学习系统,这种敌对攻击会更容易进行重新设计,并且更灵活、更高效。

即便如此,他们还是提醒到:“未来的研究应该解决敌对变成的特性与局限性,甚至是潜在的防御方法。”

(文中图片来自网络)

特别声明:以上文章内容仅代表作者本人观点,不代表变化吧观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与变化吧联系。

教程 | 只需15分钟,使用谷歌云平台运行Jupyter Notebook

近日,Amulya Aankul 在 Medium 上发表文章,描述他在谷歌云平台上运行 Jupyter Notebook 的过程,仅需 15 分钟。机器之心对该文章进行了编译介绍。 最近,我在使用卷积神经网络进行计算机视觉方面的研究项目时,发现我的 8GB …

幸运草
看图猜成语Pro 小程序-一起猜成语 知识分享

看图猜成语Pro 小程序-一起猜成语

看图猜成语Pro是一款益智小游戏,是用一幅画或几个字的组合来猜一个成语。该游戏巧妙地使用图与字的结合,能够让玩家在休闲娱乐的同时能够了解到成语的趣味。   看图猜成语Pro针对0-12岁的孩子设计,成...
如何让网站收录高 内容的质量的关键 网站

如何让网站收录高 内容的质量的关键

网站收录算法研究之新站收录作为一个网站,如何评判网站内容的质量。大家都知道。内容是网站的重点,做网站难以解决的问题之一就是内容,它决定了一个网站能有多大的成就,前期没有好的内容支持,哪怕再有营销思路都...
无流量,无转化?网站收录问题你彻底解决了吗? 网站

无流量,无转化?网站收录问题你彻底解决了吗?

网站收录量一直在减少 怎么办?如果站点没有被收录会怎样? 大多数公司网站至少有几个网页被收录,但是有些站点根本没有网页被收录。我们将告诉你如何检查站点,并且告诉你,如果出现一个网页都没有收录的极端情况...
电脑桌面整理技巧大揭秘! 知识分享

电脑桌面整理技巧大揭秘!

使用腾讯电脑管家 免费领加速器时长即日起,在加速器官网首页或本公告页下载电脑管家,享三重加速福利:   福利一:蓄能5天免费领1天加速时长 第一步,下载电脑管家。 点击此处下载电脑管家       第...