ETSI报告铺平了标准化AI安全的方式

ETSI,欧洲电信标准组织的新报告,广播和电子通信网络和服务,旨在铺设 the way for establishing a standard for 人工智能 (AI) security.

创建标准的路径中的第一步是描述保护基于AI的系统和解决方案的问题。这是24页的报告, ETSI GR SAI 004,第一个由此发表 ETSI保护人工智能行业规范集团 (SAI ISG)做。它定义了问题陈述,并且特别关注机器学习(ml),以及机器学习生命周期的每个阶段的机密性,完整性和可用性有关的挑战。它还指出了AI系统的一些更广泛的挑战,包括偏见,道德和能力解释。概述了许多不同的攻击载体,以及几个真实使用和攻击的案例。

ETSI报告描述了与机器学习生命周期的每个阶段的机密性,完整性和可用性有关的挑战。 (图片:ETSI)

要确定所涉及的问题AI所涉及的问题,第一步是定义AI。对于ETSI组,人工智能是系统处理表示,显式和隐式的信息以及执行任务的过程,如果由人类执行,则执行智能的任务。该定义仍然是广泛的可能性。然而,有限的技术现在正在变得可行,主要是通过机器学习和深度学习技术的演变,以及培训和实施这些技术所需的数据和处理能力的广泛可用性。

机器学习生命周期的每个阶段的主要问题。 (图片:ETSI)

机器学习的许多方法都是常用的,包括监督,无监督,半监督和加强学习。

  • 监督学习–标记所有培训数据的情况下,可以训练模型以基于新的输入集预测输出。
  • 半监督学习–部分标记数据集的位置。在这种情况下,即使是未标记的数据也可用于提高模型的质量。
  • 无人监督的学习–其中数据集未标识的位置,并且模型查找数据中的结构,包括分组和群集。
  • 加强学习–在定义如何采取行动的政策通过经验学到了代理人来最大化奖励;通过国家转型通过在环境中互动来获得经验。

在这些范例中,可以使用各种模型结构,其中一个最常见的方法是使用深神经网络的使用之一,其中学习是通过模拟人脑行为的一系列分层层进行的。

也可以使用各种训练技术,即普遍的学习,其中训练集不仅含有反映所需结果的样品,而且旨在挑战预期行为的对抗样本。

“AI伦理周围有很多讨论,但保障AI周围没有标准。然而,他们对确保基于AI的自动化网络的安全性迈出了至关重要。这个第一个ETSI报告旨在提出挑战AI时面临的挑战的全面定义。并行,我们正在研究威胁本体,了解如何保护AI数据供应链,以及如何测试它,“ETSI SAI ISG椅子解释说Alex Leadbeater。

询问Timelines,Leadbeater告诉Embedded.com,“另外12个月是技术规范的合理估算。在接下来的几个季度有更多的技术报告(AI威胁本体,数据供应链报告,SAI缓解战略报告)。事实上,在Q2 / Q3的末尾之前应该出现一个关于AI安全测试的一个规范。下一步是识别问题陈述中的特定区域,这些区域可以扩展到更详细的信息工作项目。“

报告大纲
在AI和机器学习的定义之后,该报告然后了解数据处理链,涵盖整个生命周期的机密性,完整性和可用性挑战,从数据采集,数据策策,模型设计和软件构建,以培训,测试,部署和推论和升级。

在AI系统中,可以从多个源获得数据,包括传感器(例如CCTV摄像机,移动电话,医疗设备)和数字资产(例如来自交易平台的数据,文档提取物,日志文件)。数据也可以是许多不同的形式(包括文本,图像,视频和音频),可以是结构或非结构化的。除了与数据本身相关的安全挑战外,考虑传输和存储的安全性很重要。

要指示数据策策中的完整性挑战,请在修复,增强或转换数据集时,重要的是要确保流程不会影响数据的质量和完整性。对于监督机器学习系统,重要的是数据标签是准确的,尽可能完整,并确保标签保留其完整性并且不会受到损害,例如通过中毒攻击。解决确保数据集是无偏见的挑战也很重要。数据增强技术可以影响数据的完整性。

覆盖的另一个区域是设计挑战偏见,数据伦理和解释性周围的其他无意因素。

例如,不仅在设计和培训阶段期间应考虑偏差,而且在部署系统之后,仍然可以介绍偏差。该报告引用2016年的一个例子,当时聊天聊天,这是一个试验“会话理解”。 Chatbot将通过推文和直接邮件与社交网络用户互动。在几个小时内,Chatbot开始推文高度进攻消息。在聊天被撤回之后,它被发现了聊天’S帐户已被操纵以通过互联网巨魔显示偏见的行为。偏见不一定代表安全问题,但可以简单地导致系统不符合其功能要求。

关于道德,报告突出了几个例子,包括自治车和医疗保健。它引用了布莱顿大学的一篇论文,该文件讨论了一个假设的场景,其中一辆由AI驱动的汽车击败行人,并探索了随之而来的法律责任。 2018年3月,这种情况成为一个自动驾驶汽车在亚利桑那州坦佩市的行人击中和杀死一名行人时成为现实。这不仅带入了敏锐的焦点,而不是法律责任,而是决策过程本身的潜在道德挑战。 2016年,马萨诸塞州理工学院(麻省理工学院)推出了一个名为道德机器的网站,探索允许智能系统做出伦理性质的决定的挑战。该网站试图探讨人类在面对道德困境时如何表现,并更好地了解机器如何表现如何。

报告强调,虽然道德问题没有直接承担的机密性,完整性和可用性的传统安全特征,但它们可以对个人产生重大影响’■对系统是否可以信任的看法。因此,AI系统设计人员和实施者必须考虑道德挑战,并寻求创建能够在用户之间建立信任的强大道德系统。

最后,报告看着攻击类型,从中毒和后门攻击到逆向工程,其次是真实的世界用例和攻击。

在中毒攻击中,攻击者寻求通常在训练阶段期间损害AI模型,以便部署的模型以攻击者所希望的方式行事。这可能是由于基于某些任务或输入的模型失败,或者模型了解攻击者所希望的一组行为,而不是模型设计器。中毒攻击通常可以以三种方式发生:

  • 数据中毒 - 其中攻击者在数据收集或数据策展阶段期间引入错误或错误地标记为数据集中的数据。
  • 算法中毒 - 当攻击者干扰用于学习过程的算法时。例如,联合学习涉及培训数据子集上的各个模型,然后将学习模型组合在一起以形成最终模型。这意味着各个数据集仍然是私有的,但创造了固有的漏洞。由于任何单独的数据集可以由攻击者控制,因此他们可以直接操纵该部分学习模型并影响系统的整体学习。
  • 模型中毒 - 当整个部署的模型简单地被替代模型替换时。这种类型的攻击类似于传统的网络图克,其中可以改变或更换包括模型的电子文件。

虽然这个词‘人工智能’起源于20世纪50年代的会议,在美国新罕布什尔州汉诺威达特茅斯学院,ETSI报告中描述的现实生活用途表明它以来已经进化了多少。这种情况包括广告攻击者攻击,恶意软件混淆,DeepFakes,手写再现,人类语音和假谈话(已经提出了大量评论聊天聊天)。

什么’下一个?正在进行的报告作为这一ISG的一部分

该行业规范组(ISG)正在查看几份正在进行的报告,作为其工作项的一部分将深入挖掘。

安全测试:本工作项的目的是识别适合于基于AI的组件的安全测试的目标,方法和技术。总体目标是在符号和亚默博AI的不同算法和解决工作项目“AI威胁本体论”的不同威胁,具有对AI和基于AI的组件的安全测试的指导方针。 AI的安全测试有一些具有传统系统安全测试的共性,但提供了新的挑战,并且需要不同的方法,因为

(a)符号和亚马察均值与传统系统对其安全性的强烈影响以及如何测试其安全性质的显着差异;

(b)非确定性,因为基于AI的系统可能随着时间的推移而发展(自学习系统)和安全性质可能会降级;

(c)测试Oracle问题,为基于AI的系统分配了测试判断,因为并非所有预期的结果都是已知的先验结果,而(d)数据驱动算法:与传统系统相比,(培训)数据相比形成亚jbolic ai的行为。

本工作项的安全测试的范围是涵盖以下主题(但不限于):

  • AI的安全测试方法
  • 从安全角度测试AI的数据
  • AI的安全测试oracles
  • AI安全测试测试充足标准的定义
  • AI安全属性的测试目标

它提供了通过考虑到上述主题的AI安全测试指导方针。指南将使用工作项的结果“AI Threat Ontology”通过安全测试涵盖AI的相关威胁,并且还会解决基于AI的系统时解决挑战和限制。

AI威胁本体论:这项工作项目的目的是定义什么被认为是一个威胁以及如何与传统系统的威胁不同。为此作品提供理由的起点是目前,对AI的攻击作出什么以及如何创建,托管和传播,没有共同了解。 “AI威胁本体论”工作项目可交付将寻求对准不同利益相关者和多个行业的术语。本文档将在网络和物理安全的背景下和伴随的叙述中这些术语定义这些术语的含义,这些叙述应该由两位专家和较少的经济广泛的经济学易于访问。请注意,此威胁本体将以系统,对抗攻击者和系统防御者称为系统。

数据供应链报告:数据是AI系统开发中的关键组成部分。这包括原始数据以及来自循环中其他系统和人类的信息和反馈,所有这些都可以用于通过训练和再培训AI来改变系统的功能。但是,访问合适的数据通常是有限的,导致需要使用不太合适的数据来源。损害培训数据的完整性已经证明是对AI系统的可行攻击载体。这意味着确保数据的供应链是保护AI的重要步骤。本报告将总结当前用于源培训AI的数据以及可以控制该数据的处理和共享的法规,标准和协议来源的方法。然后,它将提供对这些信息的差距分析,以确定可确保数据,相关属性,信息和反馈的可追溯性和完整性的标准的可能要求,以及这些数据的保密性。

SAI缓解战略 报告:此工作项目旨在总结和分析对基于AI的威胁的现有和潜在缓解。目标是制定通过采用AI进入系统而引入的威胁的准则。这些指南将通过减轻已知或潜在的安全威胁来揭示基于AI的系统的光线基线。他们还解决了在某些潜在用例中采用基于AI的系统的缓解时解决了安全功能,挑战和限制。

?硬件在AI安全中的作用: 要准备一个报告,该报告标识硬件的作用,既有专业和通用,则在AI的安全方面。这将解决硬件中可用的减轻,以防止攻击并还解决了对硬件的一般要求来支持SAI。此外,本报告还将解决使用AI保护硬件的可能策略。该报告还将在AI的硬件安全方面提供学术和工业经验摘要。此外,该报告还将解决硬件引入的漏洞或可能放大AI上攻击向量的硬件。

定义Secure AI问题陈述的完整ETSI报告是 可用.


相关内容:

更嵌入, 订阅嵌入式’S每周电子邮件时事通讯.

发表评论

本网站使用AkisMet减少垃圾邮件。 了解如何处理评论数据.

发布时间: 2021-05-13 13:56:37

最近发表