ETSI报告为标准化AI安全性铺平了道路

欧洲电信,广播和电子通信网络及服务的标准组织ETSI的一份新报告旨在铺平道路 the way for establishing a standard for 人工智能 (AI) security.

创建标准的第一步是描述保护基于AI的系统和解决方案的问题。这是24页的报告, ETSI GR SAI 004,最早由 ETSI确保人工智能行业规范小组 (SAI ISG)。它定义了问题陈述,并特别关注机器学习(ML),以及在机器学习生命周期的每个阶段与机密性,完整性和可用性有关的挑战。它还指出了人工智能系统的一些更广泛的挑战,包括偏见,道德和被解释的能力。概述了许多不同的攻击媒介,以及实际使用和攻击的几种情况。

ETSI报告描述了在机器学习生命周期的每个阶段与机密性,完整性和可用性有关的挑战。图片:ETSI)

为了确定与保护AI有关的问题,第一步是定义AI。对于ETSI小组来说,人工智能是系统处理显式和隐式表示的能力,以及执行由人类执行的被认为是智能的任务的过程的能力。这个定义仍然代表着广泛的可能性。但是,现在有限的一组技术变得可行,这在很大程度上受到机器学习和深度学习技术的发展以及训练和实施此类技术所需的数据和处理能力的广泛可用性的推动。

机器学习生命周期每个阶段的主要问题。图片:ETSI)

通用的机器学习方法很多,包括监督学习,无监督学习,半监督学习和强化学习。

  • 监督学习–在其中标记所有训练数据,并且可以训练模型以基于一组新的输入来预测输出。
  • 半监督学习–数据集被部分标记的位置。在这种情况下,甚至可以使用未标记的数据来提高模型的质量。
  • 无监督学习–其中数据集未标记,模型在数据中查找结构,包括分组和聚类。
  • 强化学习–代理商通过经验中学到了定义如何采取行动的政策,以最大限度地提高他们的报酬;代理通过在环境中通过状态转换进行交互来获得经验。

在这些范例中,可以使用各种模型结构,最常见的方法之一是使用深度神经网络,其中在一系列模仿人类大脑行为的层次结构层上进行学习。

也可以使用各种训练技术,即对抗学习,其中训练集不仅包含反映期望结果的样本,而且还包含旨在挑战或破坏预期行为的对抗样本。

“围绕AI道德有很多讨论,但没有关于确保AI安全的标准的讨论。然而,它们对于确保基于AI的自动化网络的安全性至关重要。这份第一份ETSI报告旨在对确保AI所面临挑战的全面定义。同时,我们正在研究威胁本体,如何保护AI数据供应链以及如何对其进行测试。” ETSI SAI ISG主席Alex Leadbeater解释说。

当被问及时间表时,Leadbeater告诉Embedded.com,“另外12个月是对技术规格的合理估计。接下来的两个季度还会有更多技术报告(AI威胁本体论,数据供应链报告,SAI缓解策略报告)。实际上,关于AI安全测试的一项规范应该在Q2 / Q3结束之前发布。下一步将是确定问题陈述中的特定区域,这些区域可以扩展为更详细的信息性工作项目。”

报告大纲
根据AI和机器学习的定义,该报告随后研究了数据处理链,涵盖了整个生命周期中的机密性,完整性和可用性挑战,从数据获取,数据策划,模型设计和软件构建到培训,测试,部署和推断和升级。

在AI系统中,可以从多种来源获得数据,包括传感器(例如CCTV摄像机,移动电话,医疗设备)和数字资产(例如来自交易平台的数据,文档摘录,日志文件)。数据也可以采用许多不同的形式(包括文本,图像,视频和音频),并且可以结构化或非结构化。除了与数据本身有关的安全挑战之外,考虑传输和存储的安全性也很重要。

为了表明数据管理在完整性方面面临的挑战,在修复,扩充或转换数据集时,重要的是要确保过程不会冒影响数据质量和完整性的风险。对于有监督的机器学习系统,重要的是数据标签必须准确且尽可能完整,并确保标签保持其完整性并且不会受到损害(例如通过中毒攻击)。解决确保数据集无偏见的挑战也很重要。数据扩充技术可能会影响数据的完整性。

涵盖的另一个领域是围绕设计挑战的其他无意因素,如偏见,数据伦理和可解释性。

例如,不仅应该在设计和培训阶段,而且在系统部署之后都应考虑偏差,因为仍然可以引入偏差。该报告引用了2016年的一个示例,当时启动了一个聊天机器人,目的是为了在“对话理解”。聊天机器人将通过推文和直接消息与社交网络用户互动。在短短几个小时内,聊天机器人就开始发布高度令人反感的消息。退出聊天机器人后,发现聊天机器人’s的帐户已被互联网巨魔操纵以显示偏见行为。偏差不一定代表安全性问题,而只会导致系统不满足其功能要求。

在道德方面,该报告重点介绍了几个例子,包括自动驾驶汽车和医疗保健。它引用了布莱顿大学的一篇论文,该论文讨论了一种假想的场景,其中由AI驱动的汽车撞倒了行人,并探讨了随之而来的法律责任。 2018年3月,当自动驾驶汽车在亚利桑那州坦佩市撞死一名行人时,这种情况就变成了现实。这不仅引起了法律责任的关注,而且也使决策过程本身潜在的道德挑战成为人们关注的焦点。 2016年,麻省理工学院(MIT)开设了一个名为Moral Machine的网站,探讨了允许智能系统做出具有道德性质的决策的挑战。该站点试图探索人类在面临道德困境时的行为方式,并更好地理解机器的行为方式。

该报告强调,尽管道德问题与保密性,完整性和可用性的传统安全特征没有直接关系,但它们可能对个人产生重大影响。’对系统是否可以信任的看法。因此,至关重要的是,AI系统设计者和实施者必须考虑道德挑战,并寻求创建可以建立用户之间信任的强大的道德系统。

最后,该报告研究了攻击类型,从中毒和后门攻击到逆向工程,然后是现实世界中的用例和攻击。

在中毒攻击中,攻击者通常在训练阶段尝试破坏AI模型,以使部署的模型以攻击者期望的方式运行。这可能是由于模型基于某些任务或输入而失败,或者是由于模型学习了一组攻击者希望的行为,而模型设计者并未打算这样做。中毒攻击通常可以通过三种方式发生:

  • 数据中毒 –攻击者在数据收集或数据管理阶段将错误的或标签错误的数据引入数据集中。
  • 算法中毒 –当攻击者干扰用于学习过程的算法时。例如,联合学习涉及在数据子集上训练各个模型,然后将学习到的模型组合在一起以形成最终模型。这意味着各个数据集将保持私有状态,但会产生固有的漏洞。由于攻击者可以控制任何单独的数据集,因此他们可以直接操纵学习模型的那部分,并影响系统的整体学习。
  • 模型中毒 –仅将整个部署模型替换为替代模型时。这种类型的攻击类似于传统的网络攻击,在传统的网络攻击中,可以更改或替换构成模型的电子文件。

虽然这个词‘人工智能’起源于1950年代在美国新罕布什尔州汉诺威的达特茅斯学院的一次会议上,ETSI报告中描述的现实生活使用案例表明,自那以后已有了很大的发展。此类情况包括广告拦截程序攻击,恶意软件混淆,深层造假,手写体复制,人类语音和虚假对话(已经引起了聊天机器人的大量评论)。

什么’下一个?作为该ISG一部分的持续报告

该行业规范小组(ISG)正在研究多个正在进行的报告,作为其下工作项目的一部分,将对此进行更深入的研究。

安全测试:此工作项的目的是确定适用于基于AI的组件的安全性测试的目标,方法和技术。总体目标是考虑到符号和亚符号AI的不同算法,并针对工作项“ AI威胁本体”中的相关威胁,制定有关AI和基于AI的组件的安全测试的指南。 AI的安全性测试与传统系统的安全性测试有一些共性,但是由于

(a)符号和亚符号AI与传统系统之间的重大差异,这对其安全性以及如何测试其安全性具有重大影响;

(b)不确定性,因为基于AI的系统可能会随着时间的推移而发展(自学习系统),并且安全性可能会下降;

(c)测试甲骨文问题,为基于AI的系统分配测试结论是不同的,并且更加困难,因为并不是所有预期结果都是先验的,并且(d)数据驱动算法:与传统系统相比,(训练)数据形成了亚符号AI的行为。

此工作项有关安全性测试的范围涵盖以下主题(但不限于):

  • 人工智能的安全测试方法
  • 从安全角度测试AI的数据
  • AI的安全性测试预告片
  • AI安全测试的测试充分性标准的定义
  • AI安全属性的测试目标

并提供了考虑到上述主题的AI安全测试指南。准则将使用工作项目的结果“AI Threat Ontology”通过安全测试涵盖AI的相关威胁,并且在测试基于AI的系统时还将解决挑战和局限性。

人工智能威胁本体:此工作项的目的是定义什么将被视为AI威胁以及它与传统系统的威胁有何不同。提供这项工作原理的起点是,目前,对于什么构成对AI的攻击以及如何创建,托管和传播AI尚无共识。可交付使用的“ AI威胁本体”工作项将寻求使不同利益相关者和多个行业的术语保持一致。本文档将在网络和物理安全的上下文中定义这些术语的含义,并附带相应的叙述,以便跨多个行业的专家和知识渊博的读者都可以轻松访问。请注意,这种威胁本体将把AI视为系统,对抗攻击者和系统防御者。

数据供应链报告:数据是AI系统开发中的关键组成部分。这包括原始数据以及循环中其他系统和人员的信息和反馈,所有这些都可以用于通过培训和再培训AI来更改系统功能。但是,对合适数据的访问通常受到限制,导致需要诉诸不太合适的数据源。已经证明,损害训练数据的完整性是针对AI系统的可行攻击媒介。这意味着保护数据的供应链是保护AI的重要步骤。该报告将总结当前用于培训AI的数据源方法以及可以控制该数据的处理和共享的法规,标准和协议。然后,它将对这些信息进行缺口分析,以涵盖对标准的可能要求,以确保数据,相关属性,信息和反馈的可追溯性和完整性,以及这些信息的机密性。

SAI缓解策略 报告:此工作项旨在总结和分析针对基于AI的系统的威胁的现有和潜在缓解措施。我们的目标是制定指南,以减轻因将AI引入系统而带来的威胁。这些指南将通过缓解已知或潜在的安全威胁,为确保基于AI的系统的安全奠定基础。当在某些潜在用例中为基于AI的系统采用缓解措施时,它们还解决了安全功能,挑战和限制。

?硬件在AI安全性中的作用: 准备一份报告,以识别硬件(专用和通用)在AI安全性中的作用。这将解决硬件中可用的缓解措施以防止攻击,也将解决对硬件的一般要求以支持SAI。此外,本报告还将探讨使用AI进行硬件保护的可能策略。该报告还将提供有关AI硬件安全方面的学术和行业经验的摘要。此外,该报告还将解决硬件引入的漏洞或弱点,这些漏洞或弱点可能会放大AI的攻击媒介。

完整的ETSI报告定义了保护AI的问题陈述,其中包括 在这里可用.


相关内容:

要获得更多嵌入式产品, 订阅嵌入式’的每周电子邮件通讯.

发表评论

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.