线科学
现在读
AI的虚假报告可以欺骗网络安全专家
线科学
线科学

AI的虚假报告可以欺骗网络安全专家

代表性图片:Gerd Altmann/pixabay

如果你使用Facebook和Twitter这样的社交媒体网站,你可能会遇到一些带有错误信息警告的帖子。到目前为止,大多数错误信息——无论是被标记的还是未标记的——都是错误的目的是在公众面前。想象一下在网络安全、公共安全和医药等科学技术领域中出现虚假信息的可能性——虚假或误导的信息。

人们越来越担心虚假信息传播在这些关键领域,由于在同行评审的研究论文中,出版了科学文学的共同偏见和实践。作为一个研究生并作为学院成员我们在网络安全上进行研究,我们研究了科学界的误导新途径。我们发现人工智能系统可能在批判性领域中产生虚假信息,如医学和防御,这足以欺骗愚弄专家。

一般的错误信息通常旨在损害公司或公众人物的声誉。专业社区内的错误信息有可能导致可怕的结果,比如向医生和病人提供不正确的医疗建议。这可能会使生命处于危险之中。

为了测试这种威胁,我们研究了在网络安全和医疗社区中传播误导的影响。我们使用了人工智能模型被称为变压器,产生虚假网络安全新闻和Covid-19医学研究,并向网络安全专家展示网络安全错误信息进行测试。我们发现变压器产生的错误信息能够欺骗网络安全专家。

变形金刚

许多用于识别和管理错误信息的技术都由人工智能提供动力。人工智能让计算机科学家能够快速核实大量错误信息的事实,因为在没有技术帮助的情况下,人们很难发现太多错误信息。尽管人工智能帮助人们发现错误信息,但具有讽刺意味的是,近年来它也被用来制造错误信息。

变形金刚,就像来自谷歌和从Openai,使用自然语言处理了解文本并生成翻译,摘要和解释。他们已被这些任务用作讲故事和回答问题,推动在生成文本中显示人类等功能的机器的界限。

变形金刚辅以谷歌和其他技术公司改善他们的搜索引擎并帮助公众将如此常见的问题变得争吵文思枯竭

变压器也可用于恶性目的。像Facebook和Twitter这样的社交网络已经面临着挑战AI生成的假新闻跨平台。

关键的错误信息

我们的研究表明,变形金刚也在医学和网络安全中提出了错误信息威胁。为了说明这是多么严重,我们微调GPT-2变压器模型开启打开在线来源讨论网络安全漏洞和攻击信息。网络安全脆弱性是计算机系统的弱点,网络安全攻击是一种利用漏洞的行为。例如,如果漏洞是一个弱的Facebook密码,攻击就会是一个黑客弄清楚你的密码并闯入您的帐户。

然后,我们将实际网络威胁情报样本中的句子或短语植入该模型,并让它生成剩余的威胁描述。我们将这一生成的描述呈现给了网络威胁搜索者,他们筛选了大量关于网络安全威胁的信息。这些专业人员阅读威胁描述,以识别潜在的攻击,并调整其系统的防御。

我们对结果感到惊讶。我们生成的网络安全错误信息是能够欺骗网络Threat猎人,他是关于各种网络安全攻击和漏洞的知识。想象一下这种情景,具有一系列的网络滑轨智能,涉及我们在我们研究中产生的航空公司行业。

一块文本,具有关于航空公司网络安全攻击的虚假信息
AI生成的网络安全错误信息的一个例子。对话,抄送BY-ND

这种误导性的信息包含关于具有敏感实时飞行数据的航空公司网络内的网络内容不正确。这种虚假信息可以通过将注意力转移到假软件错误来保护网络分析师在其系统中解决合法漏洞。如果网络分析师在真实情景中的假信息上行动,所讨论的航空公司可能会面临严重的攻击,从而利用真实,无拘无束的脆弱性。

还阅读:当AI帮助研究时,AI的极限会妥协吗?

类似的基于变压器的模型可以在医疗领域中产生信息,并潜在欺骗医学专家。在Covid-19大流行期间,尚未经历严格审查的研究论文的预印在此类网站上不断上传Medrxiv..它们不仅在媒体上被描述,而且被用于公共卫生决策。考虑以下内容,这些内容不是真实的,而是我们的模型在对一些与covid -19相关的论文的默认GPT-2进行最小程度微调后生成的。

显示医疗保健错误信息的文本块。
人工智能生成的医疗保健错误信息的一个例子。对话,抄送BY-ND

该模型能够产生完整的句子,并形成一个摘要,据称描述了Covid-19疫苗接种和进行的实验的副作用。这对医学研究人员来说是令人不安的,他们一直依靠准确的信息,以便为公众依靠公共消息来了解公众的知情决定,以了解重要的健康信息。如果被认为是准确的话,这种错误信息可以通过误导科学家进行生物医学研究的努力来实现生活的风险。

人工智能虚假信息军备竞赛?

尽管我们研究中的这些例子可以经过事实核查,但变压器产生的错误信息阻碍了医疗保健和网络安全等行业采用人工智能来帮助解决信息过载的问题。例如,正在开发的自动化系统可以从网络威胁情报中提取数据,然后用于通知和训练自动化系统识别可能的攻击。如果这些自动化系统处理这些虚假的网络安全信息,它们在检测真正的威胁时就会更低效。

我们认为,随着人们传播错误信息,我们认为这一结果可能是一种争夺犯若干有效方法来创造虚假信息的更好方法。

网络安全研究人员不断地研究在不同领域检测错误信息的方法。理解如何自动生成错误信息有助于理解如何识别错误信息。例如,自动生成的信息通常有细微的语法错误,系统可以通过训练来检测。系统还可以交叉关联来自多个来源的信息,并识别缺乏其他来源实质性支持的索赔。

最后,每个人都应该更加警惕哪些信息是可信的,并意识到黑客会利用人们的轻信,特别是如果信息不是来自有信誉的新闻来源或已发表的科学工作。谈话

Priyanka Ranade,马里兰大学巴尔的摩分校计算机科学与电气工程博士生,Anupam Joshi,马里兰大学巴尔的摩分校计算机科学与电气工程教授,Tim Finin,马里兰大学巴尔的摩分校计算机科学与电气工程教授。

本文已重新发布谈话在创造性的公共许可证下。阅读原文

滚动到顶部