唠唠:81页4万字的报告,今天把豆包整罢工了,多次让全文翻译,还是给摘要。最后靠kimi翻译完全文。于此分别提出批评和表扬。
来源:https://www.aepd.es/prensa-y-comunicacion/notas-de-prensa/la-agencia-publica-unas-orientaciones-sobre-inteligencia
西班牙数据保护局发布智能体AI数据保护指南
2026年2月18日
智能体AI是不仅能够回答问题,还能自主交互以实现目标的AI系统
智能体AI系统的能力在多个方面引入了新挑战,其中包括与个人数据保护相关的挑战
文件收录了数据控制者或处理者可采取的措施,以确保遵守数据保护法规
(2026年2月18日)西班牙数据保护局(AEPD)发布了从数据保护视角出发的智能体AI指南。智能体AI是不仅能够回答问题,还能自主交互以实现目标的AI系统。智能体AI系统自主运行、丰富数字环境信息并执行复杂任务的能力,在多个方面引入了新挑战,其中包括与个人数据保护相关的挑战。
这些指南探讨了当数据控制者和处理者决定使用智能体AI系统实施个人数据处理时可能出现的数据保护问题。该局强调,了解这项持续演变的技术,对于就其在个人数据处理中的实施做出知情决策至关重要。特别是,该局主张主动利用智能体AI提供的机遇,从设计阶段实现更强的数据保护。
本文结构如下:首先简要描述智能体AI系统的概念;接着分析数据保护法规的合规要点、这些系统可能存在的漏洞以及可能利用这些漏洞的特定威胁;最后,文件列举了一系列数据控制者或处理者可采取的可能措施,以确保遵守数据保护法规,并减少或消除智能体AI对人员权利和自由的影响。
智能体AI:数据保护视角
西班牙数据保护局(AEPD)2026年2月
执行摘要
智能体AI(AI Agent)是一种利用语言模型实现特定目标的人工智能系统。本指南旨在介绍当数据控制者和处理者决定使用智能体AI系统实施数据处理时可能出现的数据保护问题。
本文档的目的不是分析采用智能体AI的具体处理活动的合规性,而是探讨因全部或部分采用智能体AI实施处理而带来的特殊性。
了解这项技术对于就其在个人数据处理中的实施做出知情和基于证据的决策至关重要。仅作为用户了解是不够的:有必要理解其基础、范围、限制以及应用方式。无论是对智能体AI的非理性排斥,还是对其在个人数据处理中的无批判接受,都可能带来损害。特别是,应主动利用这项技术提供的机遇,从设计阶段实现更强的数据保护,并将其作为隐私增强技术(PET)工具。
本文结构如下:首先简要描述智能体AI系统的概念;接着分析这些系统可能影响数据保护合规性的漏洞、数据保护法规的合规要点以及可能利用各种漏洞的特定威胁;最后,列举数据控制者或处理者可采取的措施,以确保遵守数据保护法规,并减少或消除智能体AI在处理活动中部署时对数据主体权利和自由的影响。这些分析将聚焦于智能体AI作为系统中处理个人数据的最具特色的方面,而非其组成部分(如生成式AI、数据库、通信等)中已为人熟知的漏洞、威胁和措施。
关键词:互联网与新技术、机器学习、人工智能、设计与默认的数据保护、决策
I. 引言
任务自动化是利用技术执行重复性活动而无需持续人工干预的方法。这种方法高效地转变了以前完全手动执行的流程,为更高价值的任务腾出时间。自动化系统的使用可以从工业环境到办公环境,包括任何其他生产或服务部门。
大型语言模型(LLM)的发展彻底改变了自动化范式,催生了智能体AI的概念——基于AI、具有自主行动能力以实现目标完成的系统:智能体AI。语言模型的集成代表了可执行任务在效率和复杂性方面的质的飞跃,这为企业流程和公共管理的改进开辟了无限可能。同时,采用智能体AI范式(智能体AI)的系统协同工作以自动化多个流程,这改变了实体本身对流程实施、工作流或工作流程以及生成式AI(以下简称IAG)在工作环境中使用的概念。
智能体AI系统自主操作、丰富数字环境信息并执行复杂任务的能力,在劳动、组织管理和控制、弹性、安全(safety)和网络安全、伦理方面、欺诈可能性、企业形象等许多方面引入了新的挑战,此外还有与个人数据保护相关的方面。此外,作为AI系统本身以及因其数据处理,可能产生源自一般法规(如AI法规或数据法规)或特定领域法规的义务。
本文档将介绍当数据控制者和处理者决定使用智能体AI系统实施数据处理时可能出现的数据保护问题。
本文档不涉及智能体AI在家庭环境中的应用(尽管也可能存在合规影响),也不涉及语言模型的开发或演变问题。也不涉及组织中不涉及数据处理的智能体AI应用场景。
智能体AI是允许实施个人数据处理的手段、系统,引入了更大的自动化。同一个智能体AI可用于在不同个人数据处理中实施操作。另一方面,智能体AI可以是处理操作的一部分,该处理包括使用其他系统或人工操作员执行的操作来实施其余操作。
本文档的目的不是分析采用智能体AI的具体处理活动的合规性,而是探讨因全部或部分采用智能体AI实施处理而带来的特殊性。不同的处理和不同类型的智能体AI在这些处理中的实施可能对数据保护有不同的影响。本文档中的分析将一般性地研究这些影响,考虑到这些影响并非所有智能体或所有AI使用的固有特性或必然组成部分。
本文结构如下:首先简要描述智能体AI系统的概念;接着分析这些系统可能影响数据保护合规性的漏洞、数据保护法规的合规要点以及可能利用各种漏洞的特定威胁;最后,列举数据控制者或处理者可采取的措施,以确保遵守数据保护法规,并减少或消除智能体AI在处理活动中部署时对数据主体权利和自由的影响。这些分析将聚焦于智能体AI作为系统中最具特色的方面,而非其组成部分(如LLM、数据库、通信等)中已为人熟知的漏洞、威胁和措施。
所有这些都将在新技术持续演变、其分析仍在进行中的限制下进行。
II. 智能体AI
数字智能体,基于传统软件和控制系统,在AI出现之前就已存在,然而,与使用AI所能实现的功能相比,其功能有限。
智能体AI远不止使用LLM。理解其运作对于通过证据建立信任氛围至关重要,使数据控制者和处理者能够采取适当措施和保障,从而充分利用这一选择。
本文将对智能体和智能体AI概念进行描述,考虑到分类总是具有形式性质,而技术现实是一个灰色地带,在这种情况下,跨越了LLM、IAG以及未来可能产生的新发展的概念。
A. 智能体AI
智能体AI是一种利用语言模型实现目标的人工智能系统。智能体AI根据其环境和目标采取适当行动,对变化的环境和目标具有灵活性,从经验中学习,并在其感知和计算限制下做出适当决策。为此,它将复杂任务分解为子任务,以计划方式执行,创建推理链,每个子任务使用不同工具实现,并通过访问内部服务和工具感知环境。
智能体AI一般可通过以下特征定义(取决于智能体,程度不同):自主性:能够在没有持续人工干预的情况下运行。环境感知:通过传感器、应用程序接口(API)、摄像头等实时处理输入,以解释动态情境。与环境的交互避免了LLM的"知识静态截止"问题。行动:除了生成文本、代码或多媒体输出外,还能执行外部行动,如发送信息、与用户交互、执行代码、执行合同、控制设备等。主动性:预测需求或问题,而不仅仅是反应,能够自行发起行动。规划和推理:能够规划行动序列以实现特定目标,评估备选方案并优先排序结果。记忆和适应性:能够定义情境、积累经验、根据用户反应调整行为,并通过短期和长期记忆的反馈或自我评估迭代改进。
B. 推理链
推理链、管道或处理是智能体将问题分解为连续逻辑步骤直至达到最终决策或响应的内部过程。这个链条可能很短,也可能在复杂性增长的智能体中很长(即长管道),包含多个阶段。每个阶段可能涉及不同的系统、格式和处理级别。
推理链的灵活性可以从硬编码的刚性计划或有限状态机,到决策依赖于交互和对话模型的模型。
在最后一种情况下,LLM作为智能体AI的核心组件之一出现。在智能体AI中可能出现不同类型的LLM和具有不同目的的IAG:知识能力、内容生成(如翻译、转录等)和推理制定。智能体AI的特点是使用LLM作为指导复杂自主行动的推理机器,分析用户请求、顺序响应输入、处理不同服务的结果和/或构建最终响应。无论在智能体AI系统中使用LLM服务作为IAG内容或信息存储库,其特点是使用它们进行任务分解。
了解推理链将能够了解数据的生命周期、数据来源、提取的确切日期和时间、何时、何地、由谁进行转换,以及何时、何地、由谁、出于何种目的和合法性将数据加载到存储库、使用或从一个环境下载到另一个环境。
C. 智能体AI的模式
智能体架构,也称为模式,实现了推理框架,是规划和执行复杂任务、结合自然语言处理、符号推理、数字环境交互和目标导向规划的能力,赋予其一定程度的操作独立性。这些模式可能有不同的类型。
因此,智能体AI可以自动化重复的数据处理任务、分析信息以支持人类决策,或直接与用户第三方和其他数字系统交互。
与对用户行为做出反应的LLM不同,智能体可以是主动的,并在后台使用工具调用来获取更新信息、启动操作、优化工作流程并自主创建子任务以达到复杂目标。
智能体AI的定义特征之一是其实现服务调用的能力,即连接到API、数据库、网站或其他工具,并根据需要使用它们。这些服务可以是远程的(例如网页或网络服务),也可以是本地的(例如应用程序、代码执行能力和用户系统中存储的数据)。
尽管人工智能智能体在其决策过程中自主运行,但它们依赖于人们预先定义的目标和规则。自主智能体的行为本质上由三个因素决定:设计和调整智能体AI系统的开发团队;负责其部署和配置的团队;最后,用户本人,他们定义智能体必须完成的具体目标以及可以访问的工具。
D. 多智能体
多智能体架构结合多个智能体,每个智能体的行为和责任严格定义,共享信息和决策,并能够协作、竞争或协商以实现更复杂的目标。
存在多种智能体AI方法:集中式、顺序执行智能体、分布式或层级式。每个智能体可能有不同的行动范围(可执行的任务和可调用的工具)和自主性水平。
在第一种情况下,中央规划智能体协调智能体工作流,而操作智能体执行分配给它们的任务部分,保持相对自主性。无论如何,总是需要一层编排来协调智能体的生命周期、管理依赖关系、为每个智能体分配角色、按领域建立限制并解决冲突。
E. 多智能体架构详解
智能体AI系统的总体架构是必须了解的因素,以便分析其可能性、限制和漏洞。智能体AI系统的组件可能包括:管理用户界面以执行任务或代表用户执行任务的应用程序一个或多个实现不同推理模式和技术(如基于规则的逻辑、确定性工作流引擎、规划图、函数调用或通常接受自然语言输入的提示链,类似于NLP(自然语言处理)模型使用的输入)的智能体。这些输入可以是文本提示和其他内容,如文件、图像、声音或视频。一个或多个用于推理、最终或中间内容生成、记忆管理和服务指令的LLM(本地或远程)。服务,包括集成功能、本地工具和应用程序代码,以及本地或远程服务。访问和与外部工具和服务互连的接口(如需要):互联网、传感器、执行器等。用于长期持久记忆和短期记忆的外部存储,包括其他数据源,如矢量数据库、对象存储库和用于检索增强生成(RAG)的内容。支持服务,作为智能体基础设施的一部分,如凭证管理、访问控制、行动可追溯性、监控等。
所有这些元素可以完全本地实现,无需访问外部服务,或完全外部实现,访问由另一实体提供的智能体AI服务。在这两个极端之间,可以找到控制者决定的任何配置,智能体的应用程序在本地,但部分记忆在云端,同时使用内部LLM和外部LLM服务。
III. 智能体AI在处理活动中
智能体AI是允许实施个人数据处理并引入更大自动化的手段。同一个智能体AI可用于在不同个人数据处理中实施操作。另一方面,智能体AI可以是处理操作的一部分,该处理包括使用其他系统或人工操作员执行的操作来实施其余操作。例如,如果需要人工监督,在使用智能体AI手段实施的处理中,必须从设计阶段就考虑这种干预。
智能体AI是用作处理手段的系统,构成其性质,还可以改变情境、范围并增加额外目的,以及改变固有的风险。对于现有处理,纳入智能体AI将需要对该处理的合规性进行审查。也可能出现实体从头开始利用智能体AI提供的机会启动新处理的情况,使用其实施流程的部分。
本文档的目的不是分析采用智能体AI的具体处理活动的合规性,而是探讨因全部或部分采用智能体AI系统而可能出现的与数据保护相关的特殊性方面。
在进行此类分析时,重要的是避免仅提及智能体AI实施处理时可能产生的"技术迷雾"。例如,智能体可以实施任何组织中常见的流程,如为员工安排旅行。智能体在IAG的支持下主动检测员工日程中的旅行时,将开发一系列任务,如通过互联网联系各种住宿服务、检查货币汇率、验证交通路线状态、管理交通票务购买服务以及获取最新天气预报。考虑到其他因素(查阅新闻),进行选择,再次联系服务,进行适当购买,并将规划和文件转发给员工。
传统上,可以使用行政人员,使用相同数据并访问相同服务,或者组织会签订外部旅行社来执行相同的管理,即使通过访问员工日程具有相同的主动性。关于数据保护的分析(目的、最小化、合法性、访问互联网服务等)无论是由行政人员实施,还是由作为处理者的签约旅行社实施,或由智能体实施,包括检测员工日程中旅行的能力或方式,都将相同。因此,将智能体执行的相同操作及其与访问服务(或与提供智能体的外部实体-旅行社的关系)的关系落实到实体或自然人,然后分析智能体AI引入的不同方面,可能有助于启动合规分析。
关于后者,为在处理中实施而选择的一种或另一种类型的智能体,可能对数据保护有不同的影响,甚至对不同处理也有不同影响。本文档中的分析将一般性地研究这些影响,考虑到这些影响并非所有智能体或所有AI使用的固有特性或必然组成部分。
如前所述,智能体AI可能涉及与众多内部和外部服务的交互,通过互联网,这将使个人数据暴露于处理链中,不仅涉及控制者,还涉及多个实体,受每个工具的隐私政策、cookie政策、服务条款和合同条款的约束。
因此,下文将分析:将智能体AI纳入个人数据处理可能带来哪些影响数据保护的新漏洞。提出使用智能体AI时需要审查哪些数据保护合规方面。哪些威胁可能利用或实现检测到的漏洞并对数据保护产生影响。存在哪些可用措施,既支持法规合规,又避免关键影响或管理风险。
IV. 漏洞与个人数据处理
本章将对实施智能体AI操作的处理中可能出现的最重要漏洞进行初步分析。此分析并非详尽无遗,除其他因素外,因为它聚焦于可能对个人数据处理产生影响且作为智能体系统整体(而非其组件)特征的那些漏洞。
智能体AI的强大功能和多功能性中,如同任何复杂系统一样,存在着其主要漏洞。
漏洞被定义为可能被威胁实现或利用的资产弱点,可能造成影响,在我们讨论的情况下,与数据保护相关。
智能体AI系统集成了各种软件组件,如语言模型、数据库、规划引擎和其他分析工具。同时,它包括与多个服务交互的内部和外部接口,这些服务本身可能具有各自的连接级别。因此,所有这些系统固有的漏洞都是智能体AI漏洞的一部分。
然而,采取纯粹累加的视角是不恰当的,因为不同组件之间的交互可能产生新的漏洞或放大现有漏洞,产生乘数效应。总之,这类系统引入的攻击面明显比语言模型更广泛,使系统面临更大的影响和威胁。
A. 与环境交互
在处理框架内,智能体AI具有与环境交互以执行全部或部分处理操作的能力。交互可以限于组织内部,也可以扩展到外部服务。
调用互联网上的工具和服务实际上是智能体AI向外部进行的部分输出。特别是,它们不是面向智能体AI用户,也不是最终结果,因此对所述用户或处理控制者可能是透明的,但可能包含个人数据或能够揭示受处理人员的个人信息。
访问组织和用户数据
关于上一节,智能体AI的常见功能之一是访问内部服务和数据以丰富任务执行的上下文。这些信息可能是关于用户、工作组或整个组织的。一些例子可能是电子邮件账户、报告、决策、内部讨论、会议、笔记、对话、客户数据库等。这涉及智能体AI用户数据的处理,可能是该用户本人的个人数据,也可能是其他人的个人数据,无论是数据作为处理对象的人员,还是居住在智能体AI访问的存储库中的其他人员。
不受控制的访问,不考虑实体的数据隔离政策以及设计和默认的数据保护义务,可能导致大规模数据处理,违反最小化、处理限制原则,如果数据过时或存在完整性问题,则违反信息准确性原则。如果智能体AI的全部或部分组件由处理者实施,可能意味着向第三方传输数据超出处理目的。此外,在访问非结构化数据集时,部分信息可能相关,但另一部分从不同角度看可能不相关或不适当。
在组织外部感知和行动的能力
与互联网服务的互连允许智能体与组织外部环境交互,既收集信息又发送信息(请求、命令或本地存储的数据),增强其行动和处理能力。
与多个参与者的双向数据通信的存在,没有实体的必要控制,可能显著增加漏洞,如通过多个渠道访问智能体AI控制的能力。
关于发送到外部的本地信息,调用收集内部信息的工具时过度自由可能导致不必要的通信,因为智能体未准备好辨别哪些信息相关,哪些不相关。
与外部的连接不仅用于执行操作,还用于获取信息,可能使用不适当的来源,由于缺乏准确性、不真实、过时、片面、有偏见或误导。特别是,如果没有验证来源可靠性、出处和一致性的程序。同样,如果信息请求命令准备不当,可能收集与处理无关的过多个人数据。
B. 服务集成
智能体AI基于多个服务的集成。作为智能体AI的一部分,它将结合使用至少一个语言模型、记忆管理工具和任务执行工具。在智能体AI外部,它需要与其他服务集成,如文件服务器、邮件、网络服务等。所有这些都可以是本地或远程服务。
服务管理
即使服务来自同一提供商,行业性质通常导致每个服务独立发展,条款和合同不一致、不兼容、服务中断和接口变更。这意味着工具管理的更大复杂性,无论是对组织的IT服务、用户,还是智能体本身对响应的管理。这也意味着创建复杂的数据流和众多短期和长期静态数据存储系统。
这可能对数据保护法规合规带来挑战,如管理众多参与者、控制额外处理、数据保留、权利行使、准确性问题等。还有其他功能问题,如异构API集成、可变延迟、名称冲突、嵌套参数、依赖关系误解、模型在创建令人困惑的提示时的混淆、可用性、弹性、不稳定性和缺乏稳健性、网络漏洞的出现、访问和使用权限不一致、服务质量不稳定等。
智能体AI服务的易部署性
存在一些易于部署、直观的智能体AI服务,具有允许甚至最终用户快速设计任务和组件之间连接性的工具。这种类型的环境在其他情况下是软件开发原型制作中的常见环境,并有助于智能体等系统的部署。
这导致非合格用户被其可能性所迷惑,在实体治理和信息政策之外进行部署的诱惑。轻松获得看似低投入即可运行的解决方案,可能产生对数据保护(以及对组织整体)影响和影响的琐碎化想法,掩盖了这些开发在许多情况下的固有复杂性。
在处理中引入智能体AI系统意味着重新设计组织流程,其中至少应有职能负责人、IT和质量负责人参与,以及适当时的DPO。
智能体AI系统部署错误对处理的影响可能从实际效率到法规合规性、可靠性、可解释性、流程稳定性和稳健性、可扩展性和可用性、处理中产生的漏洞、数据流失控、所述数据的扩展和保留、违规后果、事件管理准备不足等。
如果说移动设备在工作环境中出现了BYOD(自带设备)问题,聊天AI出现了BYOAI(自带人工智能)问题,那么智能体AI则出现了BYOAgentic(构建自己的流程)问题,因为缺乏组织政策和合格的管理及技术人员,以及流程设计和控制中使用的方法论不成熟。
C. 记忆
记忆是智能体AI的最大优势之一,也是与LLM并列的核心元素之一。智能体AI中的记忆是存储和回忆过去情境和经验以改进决策、适应和性能的能力。与无情境操作的系统不同,具有记忆的智能体可以识别模式、随时间适应并利用先前反馈,这在面向目标的应用中至关重要。语言模型本身没有记忆;这必须作为附加组件集成。主要挑战之一是高效管理记忆,仅存储相关信息以保持快速响应和低延迟。
智能体AI中有两种截然不同的记忆类型。一种是实现智能体功能的记忆。另一种是实现对智能体AI管理和控制机制的记忆,由系统所有组件的操作记录或日志以及智能体AI访问的服务记录组成。
工作记忆
智能体使用不同类型的"工作"记忆,短期和长期(取决于智能体类型,也可以谈论中期记忆)。最简化的方法是,短期记忆允许在一个执行周期内记住先前的交互,长期记忆允许系统在不同对话或交互中保留信息。
长期记忆又可分类为:语义记忆:涉及保留特定事实和概念,可用于通过记住过去交互的事实来个性化应用程序,创建一个持续更新的"档案",包含用户的特定信息。情景记忆:允许记住过去的事件或行动,用于让智能体记住如何正确执行任务。可以通过少样本学习实现,智能体从用作示例的过去序列中学习。程序记忆:涉及记住用于执行任务的规则。完善这些指令的有效方法是使用IAG进行反思或元提示,智能体基于其经验完善自己的指令。
维护这些记忆的具体实现和采用的技术可能非常多样:文件、SQL或矢量数据库。分割成片段和上下文窗口,可以管理复杂输入而不会丢失,专注于最相关的部分。纳入元数据和标签(日期、用户、类别等)以快速过滤所需信息。检索增强生成(RAG)技术,允许智能体在制定响应之前查询知识存储以获取相关情境。记忆优化技术:生成信息摘要以节省空间、分析和选择相关信息。
从在组织中使用智能体AI系统实施处理的角度来看,记忆中存储的信息可分为:组织所有处理的记忆:组织认为能够在其内部实施自动化相关的信息。这个唯一的情境可能与数据保护相关,以保证一致性和完整性(见措施章节)。每个特定处理的记忆:与唯一处理相关而对不同处理不相关的信息。也可能包含组织设定的特定情境信息。处理中每个案例的记忆:如为客户提供程序的处理,对另一案例不相关(取决于处理,可以按案例或按用户进行近似)。同一处理中用户的记忆:可能是个性化方面,也可以按处理和用户分类。
记忆的逻辑组织可以采取不同形式,从将所有智能体用户数据和每个处理的个人数据转储的大型存储库,让智能体控制每次使用哪些数据:
到另一个极端,记忆可以按每个处理、每个案例和每个参与案例的用户进行逻辑(或物理)划分:
在这两个极端之间,可以找到适合控制者和每个处理需求的多种折衷解决方案。
记忆,如同一个巨大优势,也可能存在与数据保护相关的漏洞,如:相关性:需要为每个处理建立清晰有效的政策,规定应在记忆中存储什么。相关性可以通过提示描述,当用LLM分析时,或用其他技术。其中,应保证不同处理情境之间的隔离,例如,用户为某一目的提供的凭证在另一目的请求凭证时不可访问。情境的一致性和完整性:存储的信息必须具有足够的质量(包括关于偏见、与该情境相关、更新、无矛盾),特别是如果它将对人员进行推断或决策。无论是在长期记忆中,还是在短期记忆中制作的摘要。保留:存储的信息必须是智能体操作所需的最小量。不仅涉及商业秘密或工业产权信息,特别是用户、受处理主体或第三方的个人信息,包括可能推断他们中任何人档案的信息。完整性:存储的信息允许操纵推断结果并改变智能体本身的行为,因此可能遭受关于情境和攻击命令或代码的操纵,影响组织掌握的个人数据的保密性、完整性或可用性(除不属于数据保护权限的其他影响外)。
管理记忆
还需要考虑记忆在数字系统使用中常见的阴影中的影响,如活动记录或日志。这种记忆在AI智能体运营中也发挥作用,因为它必须被利用来分析功能障碍、事件、攻击、警报等。
存储在记录中的记忆,根据使用方式,既可以是隐私措施,也可能产生关键影响或呈现关键风险:设计和默认的数据保护措施:允许所有行动的可审计性、可追溯性、责任要求、防止滥用的威慑措施等。关键影响,例如,当记录存储关于用户的过多信息,变成过度监控,超出保护隐私和网络安全的范围。风险,如果授权管理这些记录的人员不履行保密义务,因个人数据泄露或因将捕获的个人信息用于其他目的(例如,模型调整)而产生未经授权的处理。
当智能体AI系统用于实施不同处理时,会出现一个特殊方面。在这种情况下,其某些组件,例如LLM,将使用记录或日志存储所有处理的活动。例如,它们将存储关于所有处理的提示和推断,成为收集其数据是多个处理对象的人员个人信息的节点,但也可能存储用户的数据。
当这些组件是控制者基础设施外部的服务并由第三方管理时,例如当LLM用作外部服务时,这可能产生更大影响。无论如何,数据主体画像的风险和数据泄露的影响都会增加。
权利行使
鉴于智能体AI系统的记忆在一个或多个处理框架内存储个人数据,并记录正在对这些个人数据进行哪些访问或操作,必须从设计阶段就考虑行使GDPR所有权利的能力,其中包括访问、更正、删除、限制和可携带性权利。
D. 自主性
智能体自动化意味着智能体可以在没有人类明确指令的情况下自主行动。这种自主性允许决定如何执行任务、分为哪些步骤、查询哪些内部或外部来源、考虑哪些信息以及如何考虑、做出决策、执行工具、进行推断或生成结果。这种能力赋予智能体AI完成复杂任务的强大能力。
自主性在智能体AI与环境的行动中意义重大:访问和更新数据存储库、参与者之间的数据交换、所述数据的组合、管理其他流程以及生成结果、决策、评估或其他生成性内容,无论是在组织内部还是外部。
智能体在处理中的自主性水平是控制者的设计决策,可能是:智能体提议,人类操作。智能体和人类协作。智能体操作,人类被咨询或批准。智能体操作,人类观察。
从个人数据保护的角度来看,以下方面可能受到这种自主性的影响:访问、更新或交换的数据是否符合最小化、准确性和处理限制原则。这些行动是否属于GDPR第22条意义上的自动化决策。这些行动是否对个人产生严重影响,以及是否可在处理框架内逆转(如删除组织系统中个人数据的行动)。是否存在必要的人工监督。任务是否真正以正确的方式组织、细分和执行,以保证处理作为一个整体真正符合目的。关于其执行是否存在透明度:结果质量、可解释性、可重复性、可追溯性、可审计性等。是否在智能体AI和/或处理框架内提供撤销机制。
透明度和人工监督
用户和开发者在理解某些智能体AI如何做出决策时可能面临困难。推理内部过程缺乏透明度(因为决策产生于分布在多个智能体和工具之间的推断链),以及不够合格的人工操作员有限的理解能力,可能产生基于对正确运行的感知而非客观证据的明显信任。这种情况产生了可靠性幻觉,系统看起来一致有效,尽管缺乏对其结果有效性的有力保证。
设计构成黑箱的系统并非智能体AI独有,甚至可以在不包含LLM的情况下产生。然而,智能体AI决策过程的速度和复杂性可能为实现有意义的可解释性和透明度带来更明显的障碍,以实现不同目标:证明有效性、稳健性证据、客户保证、法律责任保护,以及数据保护合规性,如公民权利。
同时,自动化偏见加剧,导致用户在没有足够批判性分析的情况下接受系统决策,并强化了对技术的权威归因,特别是当其以高度自主性运行时。
最后,人工监督变得更加复杂,特别是当没有设计和实施允许甚至在某些情况下强制有效、持续和有意义监督的特定机制时。
任务规划与智能体间交互
任务分解机制和多智能体系统之间的交互,以及这些智能体之间的活动编排,允许执行高度复杂的任务,增加灵活性和适应性,使智能体AI能够在不同情境中解决问题。
鉴于智能体将在组织中实施个人数据处理,必须保证所有子任务都是必要的、仅是必要的,并且顺序适当,考虑到对数据主体(以及对组织其他目标)可能产生的影响。有些处理中,分解和编排至少在一定程度上是预定义的。在其他处理中,面向推理的LLM可以进行全部分解。
需要注意的是,LLM并不"推理",而是提取作为其训练过程输入数据包含的任务分解模型。如果要将它们用于非常复杂的任务,重要的是保证LLM或SLM已为此接受训练。另一方面,要确保没有不兼容的不同学习模型之间污染的可能性(例如,不同行政程序的不同子任务)。
技术复杂性可能导致涌现行为的不稳定性,即复杂系统特有的不可预测和不良动态,无法仅通过分析其单个组件来预测或解释。因此,可能产生意外结果或规划循环。
同样,对外部工具的连续调用依赖可能在多步骤任务中产生往返循环,累积延迟,特别是当每个阶段依赖于前一阶段的结果时。
单一提供商的不可用,或其提供不一致数据,可能引发级联故障,停止关键操作,损害系统自主性和业务连续性。
复合错误(compounding errors)是指智能体AI的准确性随着任务需要更多步骤而降低的现象。例如,智能体AI用制作不当的查询查询关于主体的数据库,收到不完整数据,将其作为完整数据处理并进行错误推断,导致执行错误任务。
关于复合错误,无论是来自内部来源、外部来源还是中间推断结果,都可能产生不符合实体政策或监管要求的信息或推理线索,如访问过多或质量不足的数据、错误推断、商业秘密、组织伦理价值、目标、偏见、财务信息以及数据保护考虑等。所有这些信息可能产生偏离目的并对用户、组织、客户或第三方造成损害的结果。
最关键的漏洞之一是存在单一妥协点(single point of compromise, SPOC)。鉴于这些系统由相互依赖的智能体组成,具有分布式协作程序或集中式规划,可能通过共享记忆或消息协议进行通信,上述任一元素的泄露可能损害所有使用该元素的智能体的处理。
不可重复的行为
推断是大型语言模型(LLM)和其他IAG模型(包括基于智能体的系统)做出决策的过程。在经典机器学习中,一次性推断意味着特定数据输入产生可重现和确定性的输出,只要保持对模型和喂养提示来源的控制。
在更复杂的系统中,如智能体AI,如果没有对信息来源、访问的服务、其版本、任务规划、记忆以及从这些元素生成的可能命令的严格控制,就无法预测输出。
这个问题并非智能体AI性质固有,而是响应于没有适当控制系统构建的具体实现。然而,由于系统本身的更大复杂性,保持这种控制更加复杂。
智能体可能在环境不受控制的小变化(如不同令牌或API调用延迟)中产生推理链和行动序列,使完整计划偏离,每次执行产生不同轨迹。在这种情况下,可能出现推理循环或无限循环、机会性策略变化和行为涌现,这些行为未明确编程。
因此,智能体AI系统中不可预测的推断构成相关问题,因为它阻止在系统在多步骤中行动、使用外部工具并从自身结果反馈时精确预测和控制其行为。这种情况打破了许多传统上假设的软件安全、责任、问责和法规合规保证。
同样,错误缺乏可重现性使依赖多个组件的环境中的调试复杂化,以及为人员实施安全政策(safety)、为组织实施法律安全保护和防止攻击(security)。
最后,事前验证,包括审计、回归测试和监管验证流程,变得脆弱,因为相同的输入数据可能随时间产生非常不同的行动序列,这也导致结果透明度降低。
代表用户或组织行动的能力
许多智能体AI系统的用例如果只能与不需要认证的服务(内部或外部)交互,就无法有效实现自动化。因此,智能体AI必须能够请求和使用用户凭证(例如,访问其邮件或其云端信息)和技术或机器凭证(例如,访问企业LLM账户或服务)。
代表用户行动不限于使用凭证。某些智能体AI中存在的一种间接授予权限的方式是纳入允许智能体控制光标和查看用户屏幕的工具,访问与用户相同的数据并能够执行与用户相同的操作。
向智能体授予过多权限是一个关键因素,因为具有广泛权限的模型可能被用作不同系统之间的枢纽点,因此初始泄露可能导致对数据库、内部服务或敏感凭证的不当访问,放大影响。
同样,服务之间缺乏隔离机制显著增加了从不可信输入远程执行命令和具有适当权限级别的代码的风险。例如,智能体(作为访问新闻等服务的交换、因错误或受攻击驱动)可能代表用户给予同意或签订合同,或与第三方建立新关系。
最后,与智能体、服务和自动化相关的机器身份的激增产生了大量技术账户,其管理和监督变得复杂。这种倍增使有效实施访问控制、审计和权限撤销变得困难,并增加了内部威胁风险和外部攻击暴露面,特别是在智能体特有的高度分布式和动态环境中。
V. 数据保护法规合规要点
个人数据处理控制者可以选择在实施处理时使用的手段中使用一个(或多个)智能体AI系统。无论是完全本地服务、完全远程服务,或任何中间形式,它都将是实体技术基础设施的一部分,可以实施一个或多个处理的操作(甚至所有操作)。
当智能体AI用于处理操作时,可能出现以下问题:出现比原始处理中控制者或处理者更多的参与者。受处理主体数据类型和类别的更大扩展,包括画像。受数据处理主体的更大扩展,超出应成为处理对象的主体,智能体可能从其可访问的环境或智能体自身的记忆中收集。与智能体AI交互的用户(组织员工)数据的更多处理。处理的透明度降低。数据和系统在更多参与者和系统中的保留。新目的。对数据主体产生影响的自动化行动。对数据主体权利和自由的新影响或风险。其他,取决于处理和在其中实施智能体AI的方式。
上述列表并非旨在确立使用智能体AI系统于处理中时所有这些情况都会发生。事实上,产生这些情况并非使用智能体AI系统的固有特性,而是取决于所采用系统的类型和配置方式,以及如何在处理框架内实施措施。
A. 处理责任的确定
处理控制者是单独或与他人共同确定处理目的和手段的人,无论这些手段采取何种形式,无论是智能体AI系统还是其他。在实施智能体AI系统的处理中,处理控制者有义务:保证法规合规。管理因使用智能体AI系统可能在处理中产生的新风险。分析因使用智能体可能出现的临界影响的相称性。
当智能体AI完全本地执行时,无需进一步分析责任。然而,在大多数情况下,智能体AI系统将访问组织外部的第三方服务以实现其目的。这些服务可能是语言模型、编排管理,甚至整个智能体AI作为另一实体提供的服务。
智能体AI允许借助IAG支持自动化处理中的操作。为了研究处理的责任关系,需要分析控制者实施处理时与提供相同服务(当不使用智能体AI实施处理时)的其他实体建立的关系的相同案例。
因此,应在不损害因使用构成智能体AI系统的数字组件可能产生的额外数据处理的情况下进行分析。这种评估的复杂性将取决于处理中达到的自动化水平:智能体可能访问第三方服务以获取非个人信息,如服务时间、金融资产价值、历史数据等。此外,智能体的实施可能不允许该服务将其与特定用户关联(没有标识符、cookie或与特定用户关联的历史,因为它在使用智能体行动时被过滤)。在这种情况下,提供该服务的实体在数据保护框架内没有任何角色,不影响其他领域。智能体可能向第三方服务发送非个人信息以执行任何流程:信息存储、文本翻译、规范分析、制定关于任务的推理等。(可能涉及语言模型)。如果与前一情况一样,服务不将其与特定用户关联,则不存在数据保护关系。然而,如果为了提供处理而将其与特定用户关联,例如保存与用户交互的情境,则将成为处理者。在前一情况下,如果确实在处理框架内向这些服务发送个人信息,则这些服务将作为该处理的处理者。智能体可能访问第三方服务以获取关于处理对象主体或其他人的个人信息,例如访问公共管理部门或实体的登记册。不影响访问的合法性,可能建立的关系可能是控制者到控制者的通信关系。然而,如果智能体访问实体为获取员工账单信息而签约的租车机构的服务,则将是处理者关系。智能体可能访问第三方服务以传输关于处理对象主体的个人信息。在这种情况下,需要分析控制者与另一实体的关系,而不考虑智能体AI系统的使用。例如,如果为保险公司提供医疗援助费用服务的医疗机构的智能体自动联系保险公司的服务以传输数据,则将是控制者到控制者的关系。如果智能体本身是由另一实体提供的服务,并且在其处理用户个人数据和/或控制者原始处理框架内客户或公民的个人数据时,提供该服务的实体将成为处理者,如前述智能体-旅行社示例的情况。
在适用主动责任原则的情况下,控制者应设计和记录处理的数据流,识别每个参与系统中的相关第三方,并识别其在数据保护法规框架内以及其余法规中的角色。
鉴于纳入智能体AI系统意味着与互联网服务或其他实体服务(无论是处理者还是第三方)建立关系,将出现与处理中没有自动化时相同的案例:将处理中提供的个人数据用于控制者原始处理目的之外的其他目的。例如,LLM再训练、安全等。与可能情况下的用户或正在处理其个人数据的人员建立新的责任关系。例如,通过用户界面本身请求其对其他处理的同意。
在第一种情况下,这些额外处理可能是合法的。第二种情况也可能是合法的,只要用户对与谁建立关系没有误解,并且不允许智能体AI在没有某种类型控制的情况下自动给予同意。
在所有情况下,处理控制者必须勤勉控制这些情况,这将取决于纳入处理的智能体AI解决方案的类型。如果智能体AI系统由控制者自己实施,则可以采取措施配置智能体AI以确定将访问哪些服务(见"措施"章节),评估合同或服务条款,审查数据保护条款,确定这些处理的合法性及其法规合规保证,分析对数据主体的风险,并评估使用该服务是否相称或寻找替代方案更为合适。需要评估所分析替代方案的法规合规程度,特别是关于GDPR第28条、国际传输、数据保留等方面。
如果整个智能体AI服务委托给另一实体,则识别上述相同义务,以及关于责任链的义务。
根据处理对数据主体权利和自由的影响(以及控制者的其他利益),需要收集超出正式要求的合规证据,例如进行测试和研究其他用户可能报告的事件。
在这一点上,值得重视智能体AI为保证主动和自动遵守多个提供商的合同或服务条款提供的机会。在这种情况下,智能体AI本身将是一种PET技术,适用于必须管理具有动态更新条件的多服务环境的任何组织。
B. 透明度
如果处理中使用智能体AI系统意味着数据接收者超出处理本身预期的范围,这在许多情况下会发生,则应适当告知其身份。例如,如果这意味着个人数据(无论是用户还是处理对象人员的数据)被发送到另一实体的IAG服务,则应适当告知这两类人员。
同样,应告知由于在处理中使用智能体AI系统而导致的个人数据保留期限的任何变更,或当无法精确确定时,告知用于确定该期限的标准。还应告知是否产生额外的自动化决策(见"自动化决策"章节)或额外的国际传输(见"国际传输"章节)。
当在处理中纳入基于智能体或人工智能系统的解决方案意味着将先前收集的个人数据用于与其收集目的不同的目的进行进一步处理时,处理控制者应在该进一步处理之前告知数据主体新目的和任何其他相关信息,符合GDPR第13条第2款的规定。
最后,信息应符合GDPR第39条序言所述提供信息的目标,根据该条,人员应了解与其个人数据处理相关的风险、规则、保障和权利,以及行使这些权利的方式。
C. 合法性、最小化和禁止的解除
在处理中纳入智能体AI系统可能意味着额外的数据处理,尽管并非必然。例如,如果组织内部管理员工旅行的行政人员被智能体AI取代,并且该智能体具有与手动查询相同服务的接口,结果将是相同的处理。
此外,通过使用智能体AI,可以获得或保证更少的数据处理,因为可能出现的情况是,当通过互联网访问这些服务时,用户的数据处理已被消除,因为无法进行cookie或画像。无论如何,使用智能体AI本身并不是目的。
如果智能体AI系统的实施不涉及原始处理之外的额外处理,则无需为其纳入处理寻找合法性依据。需要注意的是,由于智能体AI系统由数字系统组成,其中一些非常复杂,将包括更多以网络安全为目的的处理,只要其面向该目的、必要且相称,将以合法利益为依据。
如果存在额外处理,必须建立其合法性依据,如果是特殊类别数据,则需要有解除禁止的情况。如果依据是合法利益,则必须通过评估:该合法利益的目的是否明确识别,处理是否为该利益的目的所必要,以及所追求的合法利益是否不被数据主体的利益或基本权利和自由所推翻(也称为"三要素测试")。
如果基于同意,可能需要考虑采取管理该同意的措施(见"同意管理"章节)。
数据最小化必须从处理设计阶段考虑,并转移到智能体的设计或配置中。例如,假设在处理框架内需要确定员工是否在活动邀请名单上。为此,可以下载邀请名单并处理该员工以及名单中所有其他人员的个人数据。可以考虑是否可以在不处理整个邀请名单的情况下实现相同目的(例如,询问组织者该员工是否在名单上),甚至不暴露任何人的零知识策略。在此示例中,未确定是使用人工操作员还是智能体AI进行处理。在两种情况下,最小化取决于处理的设计以及为合规给予的指示(在两种情况下)。
处理限制也必须从设计阶段解决。例如,假设是客户服务的处理,智能体AI的行动在自然人投诉时启动,可能会进行个人数据处理。部分或全部交互可能存储在长期记忆中,因为可能需要存储具体案例以在未来提供更好的响应。需要考虑是否有必要将过去客户的个人数据存储在智能体将用于执行未来行动的记忆中。如果是,还需要考虑在处理执行中存储在长期记忆中的其他客户个人数据的处理合法性。
D. 处理活动记录
处理活动记录(RAT)是数据保护合规管理的基本工具,因为它是数据处理流程的目录。
当决定在处理中用智能体自动化替代传统手段时,应更新RAT以确定,例如,这是否意味着处理对象个人数据类别的变更,是否需要更新已传达或计划传达个人数据的接收者类别信息,包括位于第三国或国际组织的接收者,是否需要详细说明新的个人数据传输,修改保留期限,或是否需要更新GDPR第32条第1款所述技术和组织安全措施的一般描述。
GDPR要求RAT中的最低信息,但没有最高限制。建议将RAT整合为实体质量控制系统的流程目录工具,作为管理和能够证明合规的管理工具。在这种情况下,控制者和处理者都应确定可能需要纳入的关于用于实施处理的智能体AI系统的额外信息。
E. 权利行使
在处理中使用智能体AI系统不应意味着权利行使的减少,必须实施必要措施以保证这些权利。这意味着了解个人数据存储和操作的方式,并预见行使这些权利的措施和程序(见"记忆控制"章节)。
需要注意的是,智能体AI系统的记忆在一个或多个处理框架内存储个人数据。此外,记录(日志)将存储关于智能体AI用户以及处理对象人员的信息,甚至可能存储不应成为处理对象的人员的数据。两种记忆系统和智能体AI的配置必须在技术上能够从设计阶段就允许管理数据主体的权利行使。
关于记录,有具体信息说明正在对个人信息进行哪些访问(当查询数据库时)。这些访问由智能体AI系统的组件执行。然而,这些访问源于:智能体AI的设计,其中处理控制者至少通过选择智能体AI作为实施处理的手段进行了干预。具体系统的配置,例如,由系统管理员定义的提示,或启动自动操作的事件(由用户或组织编程)。智能体AI用户进行的提示,可能触发对数据的许多操作。
在最后一种情况下,需要注意的是,关于自然人进行的提示,这些可能成为适当提出的访问权请求的对象。
还需要考虑访问作为处理者行事的外部组织服务可能在其日志文件或自身智能体的可能记忆中存储个人数据。个人数据也可能是智能体AI用户的,特别是当整个智能体AI系统是签约的外部服务时。
F. 自动化决策
自动化和智能体的自主性是处理设计的问题,既是技术设计因素,也是人工干预设计因素,以及其实际实施。控制者可以管理如何处理智能体或智能体AI产生的决策,允许哪些自动化、无监督的行动,以及管理这些设计决策的措施(见"措施"章节)。
GDPR第22条
在处理中纳入智能体AI系统可能意味着自动化,但并非总是意味着GDPR第22条意义上的自动化决策。
存在不涉及自动化决策的个人数据处理,例如,组织中的智能体AI可用于通过互联网跟踪和选择活动,并根据企业目标和员工类别制作摘要和分析,根据这些员工声明的兴趣发送到他们的设备,这并不意味着GDPR第22条意义上的自动化决策。
但如果存在,应评估允许的条件(GDPR第22.2条)和需要实施的措施(GDPR第22.3条)以及使用特殊类别数据的限制(第22.4条)和关于未成年人的决策(GDPR第71条序言)。此外,关于自动化决策的存在,包括画像(GDPR第22条、第13(2)(f)条和第14(2)(g)条),在这些情况下至少提供关于所应用逻辑以及该处理对数据主体的重要性和预期后果的有意义信息。
还应评估自动化决策,因为根据GDPR第22条,数据主体有权"不受仅基于自动化处理(包括画像)的决策约束,该决策对其产生法律效力或类似地对其产生重大影响"。即使决策过程不影响人员的法律权利,如果产生同等或类似重大的后果,仍可能属于GDPR第22条的适用范围。要使数据处理对人员产生重大影响,处理的影响必须足够重要以值得关注。
换句话说,决策必须有可能:显著影响受影响人员的情境、行为或选择;对数据主体产生长期或永久影响;或在最极端的情况下,导致人员的排斥或歧视。
其他自动化行动
在处理中使用智能体AI可能对个人数据处理带来GDPR第22条范围之外的风险。例如,允许智能体AI通过电子邮件或文件传输服务发送信息可能对个人数据的保密性产生影响。
这个问题以及可能由自动化行动产生的其他问题,必须在数据主体权利和自由的风险管理中考虑。特别是,从设计阶段就预见某些智能体AI行动的可逆性。
G. 风险管理
如同任何创新或在其性质上包含实施修改或新技术系统的处理或流程一样,需要进行适当的风险管理。
风险管理意味着对处理的未来影响进行批判性分析,超出组织背景,以管理潜在问题(威胁)在成为实际问题之前,即实现之前。这是一个主动管理威胁数据主体权利和自由的不确定性的过程:必须识别、评估和优先处理风险,然后协调努力并做出决策以避免或最小化其概率或影响。
因此,它超出了系统(在本例中是智能体AI系统)的范围,涵盖处理的所有元素,无论是技术还是非技术。无疑,将智能体AI作为处理手段纳入引入了新的不确定性。AEPD建议使用LIINE4DU威胁建模框架,使处理控制者能够识别链接(Linking)、识别(Identification)、不准确(Inexactitude)、不可否认(Non repudiation)、排斥(Exclusion)、检测(Detection)、数据泄露(Data Breach)、欺骗(Deception)、披露(Divulgation)和不知情/无法干预(Unawareness/Unintervenability)的威胁。
针对数据主体权利和自由的管理
所有管理都将从风险分析开始。该分析必须涵盖组织感兴趣的方面(财务、欺诈、形象、安全"safety"、安全"security"、流程连续性、环境等),其中数据主体权利和自由保护的风险。
GDPR第24条规定,处理控制者将应用适当的技术和组织措施,以保证并能够证明合规,同时考虑处理的性质、范围、背景和目的,以及对人员权利和自由的各种可能性和严重性的风险。
在处理中纳入智能体AI系统无疑至少改变了处理的性质,可能减少或增加先前存在的风险,或产生一些新的风险。这意味着在处理中纳入智能体AI系统的控制者必须在处理中进行新一轮风险管理。
2的法则
2021年,仅从未网络安全角度提出了设定最低保障阈值的一个简化方法,被称为2的法则。随后被不同作者重新表述为智能体AI的情况,采取以下形式:
该图的解释可以用一个用例说明:允许自动回复邮件的智能体。根据该法则,如果满足以下情况,例如:该智能体AI的具体实施允许接收邮件,而没有保证不存在任何类型的攻击,无论是技术还是社会工程攻击智能体可能在无限制的情况下访问用户系统中的敏感信息,且智能体可以随后自动启动行动(无论是创建回复邮件、操纵智能体的长期记忆、重写组织其他存储库中的敏感信息等)
我们将拥有不应该存在的智能体配置。
2的法则规定,在最好的情况下,唯一可以管理的配置是:案例1-2:如果有可能自动处理可能触发访问敏感信息的不可控信息,必须阻止任何在组织内外产生影响的无人监督自动行动。案例2-3:如果有可能访问敏感信息并执行自动行动,则在没有内部或外部信息完整性和安全保证的情况下,不能执行智能体的任何这些流程。案例1-3:如果有可能自动处理可能触发执行自动行动的不可控信息,智能体必须阻止访问敏感信息或个人数据。
处理风险
如前所述,这是专注于网络安全的通用最低规则,可以作为分析的起点。从数据保护的角度来看,不影响需要满足的组织其他目标,还有其他方面需要考虑。
例如,智能体输入信息的使用在处理框架内是完整的、一致的、更新的且没有偏见,例如,可能对自然人决策产生影响。另一个例子是,在访问和向可能的第三方提供个人信息时遵循数据最小化原则。另一个与自动化行动相关的例子,是数据保护法规对其提出的要求,如基于特殊类别数据或影响未成年人的额外限制。
总之,关于上述示例,风险管理必须在智能体作为手段的处理上进行,以保护数据主体的权利,其中一部分是系统本身的安全风险管理。
处理的副作用
实施处理,特别是使用新颖技术,可能产生控制者目标之外的不良副作用。这些副作用可能产生于处理对象人员,或因处理智能体AI用户的数据而产生。
在前面开发的客户服务示例中,假设智能体AI的长期记忆没有隔离。如果每个案例关于查询的个人数据存储在记忆中,通过客户或智能体AI用户自身的提示注入(也使用"影子泄漏"技术,见威胁章节),可能推断出某种个人信息。这些信息可能是客户的,也可能是作为智能体AI用户的员工的。该信息可能产生的影响取决于使用该智能体AI实施的处理的敏感性,如果没有记忆共享,情况会恶化。
数据保护影响评估
智能体AI无疑是一项新技术,但这并不意味着在所有情况下都有义务进行数据保护影响评估(EIPD)。这将取决于纳入的处理和计划使用的智能体AI系统类型。可能出现的情况是,当某种类型的智能体AI系统用于不同处理时,对某些处理不需要EIPD,对其他处理需要,而对那些已经有EIPD且已通过的处理,需要重新评估。
整合入组织风险管理
关于风险管理任务,而从不同角度进行风险分析和风险水平确定可能是分离的,风险缓解行动必须协调。措施和保障措施的确定、实施、维护和监督将是共同或相互关联的任务(不同目标,但单一管理)。
否则,既不会履行设计和默认的数据保护义务,至少数据保护相关处理的权利和自由风险管理的效果也会受到影响。
以下两章旨在为风险管理提供指导。
H. 设计与默认的数据保护
根据技术现状、成本、处理的性质、范围、背景和目的,以及对自然人的权利和自由的风险,处理控制者将应用适当的技术和组织措施,以在处理手段确定时和处理本身时有效应用数据保护原则。智能体AI是实施处理的手段,所选智能体AI系统的类型及其组件的配置必须从这些因素考虑。
智能体AI应设计为仅收集支持处理所严格必要的数据,仅用于声明的目标,在生命周期的每个步骤(感知、记忆、推理和行动)中最小化、隔离和保护个人数据,保持对其操作的完全控制、可追溯性和可解释性,并即使在无人监督自主行动时也尊重隐私。
特别需要管理的方面包括数据最小化、避免默认"记忆"不必要的数据或用户活动的不受控记录、禁止未经合法性将数据再利用于次要目的、在设计中关注特殊类别的处理及其保留,或考虑人工监督等。在后面的"措施"章节中详细说明了实施设计和默认数据保护以及管理风险的技术。
然而,设计和默认的数据保护技术的应用应超越纯粹被动的应用,即在面对阻止处理的情况之前,还应主动应用。主动应用是引入将通过使用智能体AI改善数据主体权利和自由保护的措施,优于实施处理的传统方式。我们可以看到几个例子,从利用引入智能体AI作为进一步合理化数据处理的理由开始。还可以引入在手动处理中不可能的数据保护额外措施,例如,在推理链的中间阶段使用SML与其他系统一起进行分类、清理、最小化和数据交换警报。另一个例子,在需要人工干预的阶段(例如,对人员做出决策),可以在某些方面提供匿名化信息以避免该干预中的偏见。另一个例子,在处理框架内访问必要但不向操作员暴露的敏感数据。
在这些被动和主动行动中,合格DPO和数据保护顾问的参与至关重要,以理解这些技术以及可以采取的合规措施。
I. 国际传输
如果因在处理中纳入智能体AI系统而产生向第三国或国际组织的额外个人数据传输,必须确保按照GDPR第五章的保证进行,并适当告知,也通过处理活动记录,包括确定目的地第三国或国际组织,以及当涉及GDPR第49条第1款第二项规定的传输时,适当保证的文件记录。
如果不存在这些保证,则必须考虑重新设计智能体或选择其他类型的智能体AI。
VI. 威胁
如前所述,将智能体AI集成到企业流程中引入了新的、扩展的攻击面,超出了简单欺骗IAG模型的范围。这一风险面明显更加复杂,因为它既源于个人数据的合法和授权处理,也源于自主操作、系统互连以及访问多个来源和服务的潜在未经授权操纵。
下文,参考先前描述的漏洞,介绍纳入智能体AI的处理实施中与数据保护相关的一些主要威胁,不涉及可能影响组织其他目标的其他威胁,如组织自身的网络安全保护(而非数据主体的)、有效性和效率、欺诈、劳动方面、财务或投资回报等。
此列表并非详尽无遗,因为智能体AI是一个快速发展的领域,因此威胁形势持续且几乎实时地转变,与该技术的发展并行。
虽然许多这些威胁对工作环境有影响,影响变革阻力、运营有效性和效率或企业形象,但本分析专门聚焦于直接影响个人数据保护和相关法规合规义务的那些威胁。
A. 来自授权处理的威胁
授权处理的威胁是指在个人数据处理中,即使根据GDPR合法允许,也可能对人员的权利和自由产生风险。这些威胁源于尽管法律合法但可能产生不利影响或意外暴露的处理操作。
组织缺乏治理和政策
可能阻止GDPR在组织中有效应用的基础威胁是不将智能体AI作为需要在实体流程治理、信息政策和质量保证中管理的系统进行管理。
智能体AI允许更有效和高效地实施流程。当流程涉及个人数据时,我们面临个人数据处理。GDPR将主动责任原则("问责制"或问责)确立为控制者的义务之一,使数据保护法规原则得以有效应用,且处理越复杂、设计越复杂,影响越大。
当未实施该原则时,无法控制谁、何时、何地、出于何种目的、处理哪些个人数据,因此不会有GDPR的有效应用。当智能体AI使用更多外部服务实施处理且智能体AI本身作为外部服务时,这将产生更大影响。
开发不成熟
为实现智能体AI的充分有效性,需要在实体处理中构建复杂的工作流,涉及众多服务和与组织服务及外部服务的内部通信。
使用不成熟的方法论和技术以及不合格的流程实施、应用开发、数据保护(法律和技术方面)和安全专业人员实施这些解决方案,将违反实施设计和默认数据保护的义务。
特别是,合格DPO和数据保护顾问参与理解这些技术非常重要。
缺乏组织和用户数据访问政策
在处理中实施智能体AI而未适当配置组织或用户数据访问政策,特别是当涉及非组织化信息存储库时,除对组织的其他影响外,可能产生以下后果:过度处理个人数据,将不应纳入的流程推断或行动数据纳入。当智能体AI或其某些组件(如LLM)访问这些数据时,向第三方传输数据超出处理目的。当智能体AI调用互联网服务时也可能发生。处理不准确或过时的数据,将历史个人信息纳入行动中,这些信息不相关。暴露智能体AI用户的个人数据,访问例如明确或隐含的联系人列表、简历和专业活动方面、浏览历史等。暴露不应成为合法处理对象的第三方数据,例如,当访问包含第三方地址和数据的电子邮件或会议记录时。完整性问题,因为数据可能被修改、丰富或更改。
缺乏对推理过程的控制
推理过程的漂移可能产生以下与数据保护相关的问题:不允许实现目的的任务规划。缺乏对外部参与者的控制。违反最小化原则,既因处理过多数据,也因生成关于新数据类别的推断。违反GDPR第9条处理特殊类别数据,因前一要点相同原因。违反准确性原则,既因使用过时或错误的人员信息,也因推断错误的个人数据。违反处理限制原则。个人数据泄露。违反GDPR第22条的自动化决策。对自然人产生高影响和/或不可逆行动的风险。这些行动对个人产生严重影响,以及是否可在处理框架内逆转(如删除组织系统中个人数据的行动)。缺乏透明度,无法告知和保证结果质量、可解释性和可重复性。
设计智能体AI而不控制与可调用的内部/外部信息访问工具类型、可进行的访问数量、未净化函数参数以限制访问数据的数量和类别、以及未过滤和分析所访问信息与处理相关的推理链,可能违反最小化、准确性和处理限制原则,并暴露数据安全。
失调
当自主智能体追求与用户、组织或法规合规义务目标偏离的目标时,就会发生失调。
当追求目的而不考虑处理的实际目标时(例如,有偏见的推断),可能发生目标失调;行为失调(例如,向第三方披露敏感信息);涌现失调;或有害行为(例如,恶意建议)。
循环反馈和泡沫效应
当智能体生成存储在长期记忆中并反过来用于生成新内容的内容时,可能产生反馈。智能体AI生成优化自主适应的反馈循环,但也产生风险,如放大的偏见、行为漂移和泡沫效应,其中强化有限或错误的观点。这些对其适应性至关重要的机制,可能创建扭曲决策的封闭生态系统,优先处理受污染或偏见的数据,特别是如果反馈被操纵而产生中毒。
在多智能体系统中,交互可能创建将错误大规模传播的循环,如在检测到之前数千次执行中的偏见决策。
类似于社交网络中的回音室,智能体AI系统可能通过反映和放大用户偏好或训练数据产生个性化泡沫,促进认知隔离和"数字精神分裂症"等扭曲。在AI伴侣中,已识别出强化信念的正/负循环,当应用于关于人员的决策时,会加剧极化或偏见。
这可能导致这种循环制约人工监督,对人员产生影响。
缺乏对外部信息访问的控制
设计智能体AI而不控制与可调用的外部信息访问工具类型、可进行的访问数量、未净化函数参数以限制访问数据的数量和类别、以及未过滤和分析所访问信息与处理相关的推理链,可能违反最小化原则并暴露数据安全。
特别是,不在"深度研究"智能体中纳入控制,这些智能体可以自主分析互联网上的数百个来源,可能产生大规模自动化抓取分散的个人数据,允许在没有合法依据的情况下创建关于个人的详尽报告,和/或收集过多不相关数据量并继续将其重新发送到其他系统,违反数据最小化原则。
影子泄漏(Shadow-leak)外泄
影子泄漏是通过看似合法的交互、零碎和无害的查询以及模型的部分响应,敏感信息(如数据、内部情境、记忆、规则或秘密)的沉默和渐进式泄漏。每个响应单独看似乎是安全和授权的,不会引发明显违规或触发安全机制,但其组合允许重建信息。
例如,攻击可以通过记忆或情境外泄实现,通过关于过去决策的重复查询、连续重新表述或推断存储在智能体记忆中的模式;也可以通过不直接请求而推断敏感数据,如时间表、角色、内部架构、技术依赖或用户之间的关系;最后,诱导智能体生成揭示内部结果、过度信息丰富的错误消息或根据用户差异行为的响应。
将全部责任推给用户或人工监督
人工监督对于管理处理中的风险可能至关重要。然而,当发生故障时,存在将行动责任推给监督人员而非使其成为可能的更广泛系统性问题的诱惑。
这种现象并非智能体AI独有,当试图用监督替代处理设计、智能体AI系统或一般治理的潜在问题时,就会出现。
智能体AI用户作为组织处理框架内的用户,以及执行某些行动监督的人员,必须有明确分配的责任,但在一定限制内。两种角色都不能替代处理控制者在处理设计和选择用作手段的智能体AI方面的勤勉义务。
缺乏智能体记忆的隔离
在组织中使用相同的智能体AI进行不同处理而不考虑处理之间数据隔离的必要性,可能产生以下问题:过度处理个人数据,将对应于同一主体其他处理的数据纳入推断或行动过程。向当前处理涉及的第三方传输对应于其他处理的数据。在用户不是数据主体(或不需要这些数据)的处理框架内处理智能体AI用户的个人数据。
缺乏对非结构化信息和元数据的过滤与清理
与上述所有内容密切相关的是,未考虑智能体AI访问非结构化信息的情况:消息、报告、会议记录、多媒体材料等,其中可能包含与处理无关的个人信息。
同样,缺乏数据过滤和清理机制,如删除隐藏元数据,将暴露个人数据和敏感信息。这些元数据可能包含对作者、位置、编辑历史或技术标识符的引用,便于识别人员或内部流程。
数据过度保留
由于智能体AI系统的长期记忆和可能驻留在访问系统中的记忆(包括活动记录),没有有效的数据选择保留标准或政策。
自动化偏见
即使处理设计包括人工监督,由于多种因素(缺乏解释结果的资源、缺乏培训或动机、智能体中的黑箱实施等),该监督的实施可能不正确。
其中包括自动化偏见,由于用户对系统的信任和缺乏理解而可能增加。
智能体AI用户画像
长期记忆的存在、元数据以及不同组件或服务记录中存储的信息允许创建可能识别敏感模式的行为详细档案。这些行为可能是例如工作关系框架内员工的行为。
可用性和弹性
当操作依赖于与不受组织控制的互联网服务的接口,且没有可用替代方案时,系统可能因这些系统操作的变化、其服务质量参数、数据格式或本身的连续性而受损。
非合格用户访问智能体AI
允许操作处理框架内智能体AI服务的用户在没有足够培训或责任遵循组织政策或不理解其影响的情况下访问。
供应链中的承诺
在选择受损语言模型、库和软件组件中的漏洞方面缺乏勤勉,可能损害智能体AI处理的个人数据和机密信息。
B. 来自未授权处理的威胁
未授权处理的威胁定义为当数据在没有法律依据、有效同意或授权的情况下被收集、访问、使用或披露时产生的风险。
提示注入
提示注入,可用作启用其他类型攻击的手段,分类为:直接:在直接提示注入攻击中,行为者(甚至可能是合法用户)专门设计输入以诱导智能体AI的LLM以设计者未预见的方式行为。通过这种机制,可以指示智能体忽略组织的直接指南和政策,允许过度或有偏见的数据处理。间接:间接提示注入攻击将恶意指令隐藏在智能体查询的数据源中,而不是直接作为用户提示输入。例如,可以在PDF文件、电子邮件或网页中引入对人类不可见但智能体AI的LLM解释为合法命令或决策中必须考虑的信息的指令,可能产生数据外泄、规避自动化决策控制、不准确推断或幻觉。
多模态智能体,能够处理多种数据类型,特别容易受到此类攻击,因为智能体可以解释的每种格式都构成攻击向量。
通过提示注入可以以不同方式攻击智能体AI系统,其中一些(可以相互组合):
记忆和RAG中毒
包括将恶意文档引入智能体查询以丰富其响应的内部存储库。这样,该内容作为持久知识存储。查询这些"中毒"文件时,可以操纵智能体,影响未来决策,如在推断中引入偏见、影响用于人员决策的数据准确性、外泄等。
"零点击"攻击(0-click prompt injections)
在这种情况下,当智能体处理内容(如传入邮件)时攻击自动执行,无需用户与聊天交互或点击任何链接。智能体只需阅读消息即可激活恶意内容。例如,攻击者发送带有不可见指令的电子邮件(例如,白底白字),当智能体分析邮件进行摘要时,系统服从隐藏命令。这是"零点击"攻击,因为无需用户与消息交互。这也可以通过中毒网页、带有隐藏恶意指令的网站实现。
通过URL参数的数据外泄
一种技术,指示智能体收集敏感信息(如SharePoint中的密码)并将其伪装为智能体尝试从攻击者服务器加载的图像的URL参数发送回攻击者。攻击者只需检查其服务器日志即可获取数据。
会话劫持和横向移动
由于智能体通常可以访问多个服务(邮件、CRM、消息、项目管理、工单工具等),单个恶意命令可能允许攻击者在应用程序之间像数字"蠕虫"一样移动,滥用用户权限和令牌。
针对AI的社会工程
攻击者使用框架欺骗AI,重申权威("你有完全权限")、将恶意URL伪装为合规系统或制造紧急性以取消智能体的安全控制。
长管道攻击
攻击者不是在早期阶段引入恶意信息,知道:内容将经过多次转换。将与合法数据结合。智能体将在后期阶段将其视为可信信息。
攻击在智能体已失去来源上下文或安全限制已放松时激活。
情境混淆
智能体将系统指令与外部数据和用户目标混合。攻击者可能利用这种混淆重新定义优先级(例如,在数据中引入"忽略先前规则"等指令)。
延迟触发攻击(delayed trigger)
在这种情况下,可以使用一开始看起来无害的内容,但仅在后期阶段根据条件激活("当你总结时"、"当你导出时"等)。
通过工具提升权限
攻击者诱导智能体调用不必要的工具、访问个人、敏感或机密数据,或将信息发送到未经授权的目的地。
工作流自动化平台攻击
包括远程控制工作流,例如,窃取认证令牌、输入验证缺陷、明文密钥或不当数据共享。
屏幕控制
智能体AI可能处理桌面上打开的第三方信息(邮件、文档、电子表格)用于这些第三方未授权的目的,如模型训练或外泄到服务器。
勒索软件和删除攻击
如果控制智能体AI系统管理文件,可以指示其执行大规模数据删除、选择性数据删除或阻止对关键资源(数据或服务)的访问,导致可用性中断或阻止对人员采取行动或做出决策的质量。
外部服务的可用性和弹性
当操作依赖于不受组织控制的互联网服务接口时,可能产生服务暂停、冒充或拒绝服务(DoS)攻击,使智能体瘫痪,在处理个人数据时造成可用性缺口,或诱导其产生错误响应,影响可能对人员做出的决策。
非法访问智能体记忆
与记忆中毒不同,在这种情况下目标是数据提取,尽管可以采用上述一些攻击方法。未经授权访问智能体记忆,包括智能体活动记录、其组件或访问服务中包含的信息,允许攻击者获取数据主体、第三方或智能体AI用户本身的个人数据。
VII. 措施
存在多种措施允许获得将智能体AI纳入处理手段的好处,同时保证并能够证明处理符合GDPR。下文列出的一系列措施并非详尽无遗,与前面情况一样,它们最集中于智能体系统本身的特殊性,而非其组成部分的具体方面。它们按章节分组,但许多措施实现不同目标。
本章列出的措施旨在实现几个目标:首先,那些允许在使用智能体AI系统的处理中实施数据保护法规合规的措施(如同意管理)。其次,减少处理中可能出现的临界影响,以通过例如合法利益评估、目的兼容性或EIPD的相称性分析。最后,缓解处理中可能出现的对数据主体权利和自由的风险,其中一些或所有操作基于智能体AI。
为实现这些目标,需要选择客观上允许合规,或充分减少或限制影响、消除漏洞或特定威胁实现产生风险的概率的措施。因此,应选择它们是因为客观上实现其目的,必须避免没有基于证据的分析的措施堆积("勾选框安全"或"安全剧场")。
A. 治理和管理流程
实体中存在信息管理治理框架,包括智能体AI系统,并在其整个生命周期内部署数据保护政策,是组织可以采取的最重要措施。治理框架的部署允许除其他外,数据保护法规合规以及实体的其他目标和可能适用的法规义务。治理必须是唯一的,重要的是保证因在处理中使用智能体AI而产生的治理元素可以"映射"到现有元素上,或者相反。
尽管智能体AI意味着对已经新颖的技术(如LLM)的新颖使用,但市场上已有参考框架和标准可指导适应实体的信息管理治理框架。
接受失败的可能性
个人数据处理的现实使我们得出结论,这些处理可能对数据主体的权利和自由产生未预见的影响,无论是由于授权操作、副作用还是未授权处理。处理实施越复杂,错误和不良后果的概率越大,甚至超出个人数据泄露,直至必须假设这些错误将发生。
治理中的信任不是通过预设良好意图或认为实施是万无一失来实现的,而是通过设计预见可能的错误、滥用、泄露、偏见和不良效果的处理来实现的。
遵循故障安全原则("safe"意义上的,而非"security"),有必要设计处理,调整作为处理手段一部分的系统,并准备反应计划,以在发生时最小化影响和管理事件。
数据保护官(DPO)
在该治理框架中,重要的是纳入了解数据保护法规、受影响处理特征、设计和默认数据保护可能的技术和组织措施以及保证合规和管理临界影响及数据主体权利和自由风险的DPO或数据保护顾问。
组织治理中需纳入的基本要素
实体治理以及从中开发的管理流程,必须考虑以下关于在处理中纳入智能体AI系统的问题:分配、识别并在适当时整合到组织已定义角色中,与智能体AI系统相关的角色(如职能负责人或AI负责人)。预见在处理中纳入智能体AI的可能副作用。纳入在处理中纳入智能体AI系统可能涉及的合规、临界影响和风险问题。确定每个处理的用例和不同用户档案。选择智能体、其组件和与外部连接的标准。控制在纳入智能体AI系统时重新设计个人数据处理。在需要时考虑人工监督。进行必要的内部服务适应以连接。与允许部署智能体的第三方(模型开发者、智能体AI提供商和其他外部服务)正式确定关系,确保存在措施以履行其自身责任。特别是,澄清组织之间条款和条件或合同中的义务分配、服务水平以及维护控制、隐私、安全("safety")、网络安全和控制的功能。控制部署、持续监控、维护和撤下智能体AI系统。识别外部实体关于数据保护的角色。预见可能产生的与访问权、更正权、删除权、处理限制权、可携带性和反对权相关的新案例,以及及时对这些权利做出反应。进行与事件管理和个人数据泄露义务合规流程的整合。调整培训计划。对纳入智能体AI服务的处理保持持续监控、监督和审计,对偏差、事件或法规违规有明确的响应程序和责任。关于智能体AI系统更新、在处理中的使用、替代方案和涉及治理角色的事件以及在必要时的用户的敏捷信息渠道。
最后,调整或实施可纳入治理目标执行的政策和其他措施(见本章其余部分)。
B. 基于证据的智能体持续评估
随着处理操作的自动化,对这些流程关于采用政策和措施的合规性的监督也必须同样或更加自动化。
自动化审计应纳入组织选择的与数据保护法规合规管理相关的所有措施。此过程需要结构化方法,涵盖智能体AI系统整体及其在处理中的框架,以及构成它的每个组件和服务的单独评估。
这可能包括审查每个组件在变更时的功能,以进行法规合规和缓解风险。评估方法可能包括基准测试、人工介入评估(human-in-the-loop)、A/B测试和真实环境模拟。
此评估的关键方面是了解和评估所评估服务中发生的安全漏洞和事件历史以及纳入它们的智能体AI系统。
建立明确的功能标准和指标
功能标准必须允许识别智能体AI系统及其组件何时正确和错误运行,以及可作为参考模式的客观措施。特别是,透明度、可重现性、控制、合规和可追溯性的标准和指标。
"黄金测试"实践
包括拥有一套设计、可重复和准备的程序和数据,将系统当前结果与被视为正确的参考结果进行比较。结果称为黄金结果或黄金样本,其应用是验证测试技术的一部分。
允许可重复检查和条款法律和功能系统变更时的偏差评估,此外增加系统良好情境中的可解释性和透明度。
合同及其他法律纽带
互联网服务合同的现实是,在许多情况下,合同不符合当地法律制度,合同条款单方面变更,甚至合同标的未经事先通知而变更(版本变更、功能中断等)。此外,任何服务和数字应用程序的动态性质要求在每次条款和合同更新以及服务本身的技术方面进行审查,以确定如何遵守。
因此,对于对数据保护有影响的组件或服务,处理控制者必须在设计决策时以及生命周期中动态或自动评估条件,以确定组件的法律变更及其影响评估。
在此基础上,就每种类型的智能体AI和每个处理的实施方式做出决策。
应用预防原则
在部署智能体AI解决方案时,可以采取"渐进方法",例如,逐步纳入处理,从风险较低的开始,在有限的情况下等。也可以选择使用在类似组织中已有经验的智能体AI系统,并咨询组织环境中已发生的事件和问题,以便预见并采取适当措施。
预防原则也可以应用于智能体AI的运营层面,如激活观察模式,智能体在适应之前"观察"用户如何交互。
可解释性
鉴于自动化意味着使用语言模型,有必要对使用的模型以及智能体或智能体AI的联合运作进行特定的可解释性审计。
可解释性可以通过"白盒"分析(编排器代码分析、数据流检查等)和"黑盒"测试实现,因此与"黄金测试"密切相关。
人工干预
如果人工监督对处理有影响,则需要对其实施的有效性进行定期审计。
C. 数据最小化
最小化原则旨在将个人数据处理限制在严格必要的范围内,当智能体被适当设计和配置为默认不试图通过数据量的"蛮力"来有效时,可以实现这一点。
定义组织信息访问政策
对于将使用智能体AI的每个处理,必须明确定义智能体可以访问哪些服务和数据存储库,并保证这些访问限制的有效性。也就是说,对智能体AI实施纳入"需要知道"原则的信息政策。
这些政策将成为应用最小化原则(见"最小化"章节)和管理智能体AI内部记忆(见"记忆控制"章节)的基础。
数据目录和编目
为了能够控制可用信息,需要了解有哪些数据可用。了解意味着分配允许单独识别的标识,允许管理和限制信息,例如通过标签。通过单独识别,可以确定哪些适合在特定情境中有效提取价值。
当讨论记忆方面时,已经处理了向记忆添加元数据以提高智能体推断和行动效率的重要性,尽管这些元数据也可能作为数据保护措施发挥重要作用。
该识别可以在数据集级别(例如,档案、邮件)或数据字段级别(例如,邮件收件人)进行。识别通过向数据添加数据(元数据)来实现。
因此,编目被定义为通过元数据系统清点、组织和管理数据资产的方法,促进其发现、治理和使用。
为此,有必要在编目中表征存储信息的质量(准确性、相关性、时效性、范围、偏见、使用法规条件、目标情境等)。
数据目录作为索引数据库、文件和各种来源元数据的集中存储库,包括来源、格式、所有者和敏感信息。
非结构化来源的编目
非结构化来源代表实体中数据的高百分比(例如,电子邮件、会议记录和录音、报告等),其特征是没有固定格式,使索引、可扩展性和搜索复杂化,此外需要高资源处理体积。
非结构化数据编目策略通过元数据丰富、自动标记或非结构化数据结构化的技术。为此,使用基于NLP的技术、音频和视频分析、语义模式搜索、情境检索、DPL(数据丢失防护)工具来识别和分类包含个人数据(以及敏感或机密)的信息来源。
在此基础上,可以对信息进行预处理以提取智能体任务的特定数据。特别是,对非必要个人数据进行匿名化或删除。
最小化的粒度
最小化的目标是仅处理处理中必要的数据。该原则的应用有两个粒度级别,处理级别和操作级别。
例如,在智能体框架内,在自动回复电子邮件的处理中,在发送前对邮件消息进行语法审查的操作中应用最小化意味着不处理收件人姓名,而在发送邮件的操作中意味着处理该姓名,但不分析内容。
最小化必须同时针对一般主体数据和这些用户本身的信息。特别是:避免用户个人画像的设计删除管道或管道阶段中无用的元数据。当用户行动不需要时解除与行动的关联。
数据流过滤
关于上述内容,分析不仅可以对静态数据进行,还可以对智能体不同行动之间涉及与第三方和外部数据通信的传输中的数据进行。也就是说,在推理链的中间阶段,可以纳入交换信息的过滤,以进行分类、清理、最小化和数据交换警报。
这不仅可以检测例如内部产生的提示注入,还可以检测个人数据暴露、数据过度使用、大规模信息访问等。另一种情况,用于确定在智能体操作中是否正在处理不必要的特殊类别数据。
在这些情况下,使用人工智能,例如使用小型语言模型(SML)与其他系统一起,结合数据保护威胁和安全检测模式,可能是技术。
影子泄漏
为了最小化"影子泄漏",应实施措施,如使用DPL(数据丢失防护)工具以最小化系统内部情境的暴露,限制关于推理或运作规则的解释披露,应用查询之间的相关性控制以检测不当关系,对元性质的问题采用通用响应,并持续监控长期查询模式以识别异常行为或风险。
用户假名化
对用户与智能体的交互进行假名化,以便在组件之间交互或需要认证时访问外部服务时使用一次性令牌。这将允许除其他外,避免对用户的控制和画像(见下一节),并防止智能体AI向外部服务给予有效同意、在用户与其他控制者之间建立新关系或签订合同的有效性。
控制和用户画像
智能体AI的记忆以及用户使用的各种组件和服务的日志文件(例如,实体的员工)可能收集和存储信息,甚至可能构成他们的画像。为此,可以考虑:对用户在智能体短期和长期记忆中与智能体交互的信息收集政策,限于每个特定处理的相关方面。在日志文件中收集对适当可追溯性和安全水平不可或缺的信息。对记录信息进行假名化。如前一节所述对用户与智能体的交互进行假名化。日志文件和长期记忆历史中收集信息的到期期限。
D. 记忆控制
智能体AI系统记忆的控制与数据最小化策略、推断或可重复性保证以及人员画像以及应用同意管理、权利行使和处理限制的可追溯性能力密切相关。
智能体记忆的控制必须在短期记忆和长期记忆上进行。
记忆管理
引入访问、编目和管理记忆内容的能力,允许例如按内容和质量参数搜索、删除、建立处理限制或使用警报、纳入访问可追溯性、可审计性。
记忆隔离
在组织中使用相同的智能体AI时,必须考虑为不同处理、处理中的不同案例和/或不同人员隔离和管理记忆的机会。
隔离的粒度级别将取决于处理,明确定义哪些记忆将是组织中智能体AI任何操作的通用,因为它实施其政策,以及哪些数据和信息需要在处理、用户和不同案例之间分离。这种隔离的严格性,从物理分离、刚性逻辑分离到按编目搜索,将取决于处理和政策。
用户记忆的分析和过滤
有必要能够限制用户记忆对处理实质性方面的影响,这些方面已被控制者识别。为此,有必要将任务执行中的个性化方面与可能对组织政策应用、组织不同行动之间一致性或偏见出现产生影响的方面分离。
为此,有必要能够区分组织记忆(由IT服务管理)和用户记忆,以便后者在智能体AI可能执行的某些行动中不被考虑。这些限制将取决于每个处理,可能是关于子任务划分、访问某些工具或关于决策。
选择性无日志政策
当智能体AI系统用于使用其某些组件(例如LLM)实施不同处理时,实施记录或日志存储所有处理的活动,建议在组件级别使用"无日志"或零数据保留政策。
该政策意味着组件中的信息记录是最小的,仅与请求的来源和类型相关,而非其内容。例如,推断组件不会存储提示或推断的内容,这些可以在处理级别的日志中记录,针对每个处理独立,并符合组织的信息政策。
建立严格的保留期限
为使用智能体AI的处理中构成处理的每个组件的特定类别和差异化需求确定期限和建立数据删除程序。
禁用记忆存储
在某些处理中,根据其需求,允许默认禁用持久记忆或由用户禁用。禁用的粒度可以在被认为高风险的子任务级别,以避免存储与未来处理无关的个人数据或避免注入的持久性。
应用记忆清理策略
应用长期记忆的清理或净化技术,通过自动检查有害内容、未使用或过时条目的到期、信息一致性分析、搜索和删除不必要的用户凭证、信息蒸馏、分析和消除偏见,以及强制用户/管理员进行清理的策略。
E. 自动化
自主性程度的决定
智能体AI系统可以拥有的自主性水平应由控制者为每个处理确定,同时考虑情境、范围、目的以及对人员权利和自由可能产生的风险,以及关于自动化决策的法规合规,必须有基于证据的适当理由并记录。
有效且安全的推理链设计
推理链的设计必须得到控制和验证。如果推理链由LLM制定,必须评估其是否具有解决将使用智能体AI的处理情境所需的质量水平。此外,必须保证在制定推理链时,不同学习模型之间没有污染的可能性(例如,不同行政程序的不同子任务)。
如果适用,评估实施推理链的必要性,全部或更高抽象级别,由管理员硬编码。例如,手动将处理划分为子任务,让推理智能体制定这些子任务的细节。
有必要预见可能的提示注入攻击和复合错误的产生。其中,应建立保证数据和指令严格分离、内容来源正确标记和可追溯性、使用工具权限限制、流程每个阶段(特别是持久记忆中的信息)输入的验证和清理通过护栏的控制。
还可以对智能体做出的最终决策进行自动评估,包括在容易产生复合错误的关键点的部分决策,以及纳入对持久记忆中信心的评估机制。
服务目录和白名单
这是拥有一个服务目录,可能包括不同的LLM,其中识别版本,特别是给予每个服务的可靠性和/或不同情境的适用性,以及避免产生对不存在服务调用的幻觉效果。
这允许在不同情境中用作白名单,灵活使用不同处理中的智能体AI系统(对于开发者,如果函数调用是预定义的,或限制LLM可调用的工具)。目录应涵盖外部服务,也包括内部服务,例如,数据存储库或允许访问操作员屏幕的服务。
可访问服务的限制
可访问服务的限制可以补充上述特定处理的目录。这样,每个处理都将有关于完成任务所需的最大工具类型和数据访问的明确定义政策。例如,在规范查询操作中,如果事先有以RAG形式提供的更新汇编,则不需要访问网络服务。
工具执行控制
调用互联网上的工具和服务实际上是智能体AI的部分输出,对用户可能是透明的。可以对其建立的控制有:控制调用工具的参数,实施护栏和刚性格式以检测错误或偏见参数。控制工具的响应,对输入内容实施新的护栏。对某些可能有更大影响的工具强制人工监督行动。
人工干预的标准和控制点
从设计阶段就应定义需要批准的重要控制点或行动限制,特别是在执行敏感行动之前。这可能包括:高影响行动和决策,例如,编辑敏感数据、高风险领域的最终决策(如医疗保健或法律领域),或可能产生法律责任的行动。另一个例子可能是使用从记忆中获取的用户凭证,在关键子任务中使用前请求授权。不可逆行动,例如,永久删除数据、发送通信或进行支付。异常或异常行为,例如,当智能体访问其工作范围之外的系统或数据库,或选择双倍于中位距离的交付路线时。由用户定义。智能体可以代表具有不同风险容忍水平的用户行动。除组织定义的限制外,可以为用户提供设置自己限制的选项,例如,要求对超过一定金额的购买进行批准。
智能体AI行动的可逆性
评估实施允许逆转某些行动的措施的必要性,例如,如果智能体可以修改数据。
根据处理确定自主性水平
为使用智能体AI的每个处理纳入可调整的自主性水平控制,根据影响或风险,从低影响和风险的处理的自主执行到高风险处理操作中具有大粒度的人工强制干预。
有效的人工监督
根据需要,需要确定何时将专家整合到流程的关键点,以验证、完善或取消智能体的决策(具有适当的取消机制),以免产生影响。
为评估人工干预,建议考虑:能力和权限:具有允许其改变自动化决策结果的权限或分配任务。准备和培训:具有评估决策和决定该决策的因素与处理情境和使用的自动化系统(其能力和限制)相关的能力和技能。独立性:评估是否存在来自组织内部或外部的压力,制约人员对该决策提出异议。行使其职责的勤勉:特别是,是否受到自动化偏见的影响。行使其能力和资格的手段:存在在适当时间和点以适当形式干预的程序和技术手段。拥有及时行使其资格所需的信息,特别是了解决策的一般后果、风险,以及为具体案例正在采取的决策和决定自动化决策的所有方面。这些包括具体个人的数据,但也可能包括数据收集输入程序、生成决策的模型中隐含的数据、自动化决策中未考虑的情境数据,以及决策系统的能力和限制。还包括人员在其资格中认为需要为具体案例考虑但自动化决策中未考虑的数据。拥有行使其资格的资源:智能体AI的决策必须是可解释的,例如,允许其分析用于自动化决策格式的信息的应用程序等。拥有对每个属于其资格的决策行使其资格所需的时间。
升级路径
人工监督可以通过实时监控进行补充,以升级任何意外或异常行为。升级意味着实施协议和技术,以在检测到高风险、不确定性或不可预测情况时将自动化流程的控制转移给人工操作员。
这可以通过实施特定注册事件的警报(例如,未经授权访问个人数据的尝试,或多次失败调用工具的尝试)、使用数据科学技术识别智能体的异常轨迹、使用智能体监督其他智能体、在不需要时访问特殊类别数据等来实现。
四眼原则
在对人员权利和自由有重大影响的自动化流程案例中,可以考虑应用不同人员的双重验证原则,这构成人工监督机制的额外信任层,促进人员的批判意识。
F. 从设计阶段控制智能体
智能体AI将允许全部或部分自动化处理,因此,可能有必要重新设计处理以在其中部署智能体AI系统并保证。本节列举可在处理中纳入的智能体控制措施,所选智能体AI应允许这些措施。
文档记录
维护具有完整性控制(不一定是纸质)的责任过程、决策、采取的行动、设计、架构、开发事件和演变、维护的记录。
合格专业人员
使用合格专业团队在处理中部署智能体AI系统;不仅是启动智能体AI,还必须考虑组织流程自动化的影响,因此需要具有数据科学、流程质量、运营情境、安全和法规合规知识的人员。
可追溯性
数据可追溯性是了解数据整个生命周期的能力:数据来源、提取的确切日期和时间、何时、何地、由谁进行转换,以及何时、何地、由谁、出于何种目的和合法性将数据加载到存储库、使用或从一个环境下载到另一个存储库。此过程也称为"数据血统"。
在这方面,数据生命周期越复杂,参与者越多,在处理中纳入可追溯性就越有价值。
可追溯性可以实现数据保护之外的目的,如商业秘密控制、知识产权和工业产权、合同完善。另一方面,可以从GDPR的角度实现以下目标:遵守GDPR对数据主体的透明度要求。允许数据主体有效行使其权利,特别是同意管理。允许履行处理控制者的义务(例如,保证处理限制原则、与法律依据一致的目的或控制处理者/子处理者)。拥有智能体AI中执行的每个处理操作中处理哪些数据的证据,在其中间阶段。特别是是否正在使用特殊类别数据。控制参与处理的员工,现在作为智能体AI用户,以防止滥用和偏见。向数据主体和当局证明勤勉和透明。
因此,保证这些能力的措施与数据编目相关,并意味着保存所有推理过程、访问的来源和使用的服务处理信息的记录(日志)。特别是,能够详细控制外部服务为哪些目的访问哪些数据。
这对于处理数据的透明度以及推断可重现性分析、控制用户信息被服务处理、法规合规控制、实施信息政策等目的特别相关。
验证和确认测试
尽管验证和确认测试是系统工程中非常知名的技术,并非智能体AI系统特有,但重要的是要记住它们存在并继续适用于智能体AI系统的部署。它们是实施价值链透明度、可解释性和保证的关键工具。
验证是检查系统是否正确构建,即是否符合要求、设计规范和标准,通过静态技术如审查、检查和代码分析(例如,检查内部和外部数据流是否确实是声明的那些)。确认检查用户在特定情境中的实际需求是否相对于已建立的质量指标得到满足,通过动态测试和代码执行,如功能、集成和系统测试。
定义和控制提示遵循标准操作程序
为提示构建定义标准操作程序(SOP)。这意味着定义一套结构化的分步指令,详细说明智能体AI在处理框架内应如何行动以实现一致和更可预测的结果,并避免提示注入。
例如,可以定义提示按以下方式构建:初始解释、分类、验证标准、问题初步分解、工具选择、信息搜索标准、交叉验证、数据清理、评估标准等。所有这些都具有验证字段。
通过适应每个处理的验证字段前端应用SOP允许有效使用此措施。无论如何,在处理中不替代记忆控制和使用控制措施。
可重复性机制
建立允许决策可重复性的机制。例如,在决策过程中保持配置记录:生成最终决策的数据输入、推理链中的中间数据流,以及"概率"系统中的伪随机配置等。
同时,能够将这些值重新引入智能体AI并进行功能测试,这影响系统的透明度和可解释性。
身份、认证和权限管理
用户、智能体AI及其组件的数字身份管理是可追溯性和审计工具。此外,它允许必要的管理以防止智能体权限的未经授权升级、身份冒充和控制违规。
在智能体AI环境中应用的基本原则是权限最小化,并应用以下策略:为智能体AI用户以及智能体AI及其组件实施安全认证机制:例如,要求智能体的加密身份验证、实施细粒度RBAC和ABAC、高权限账户的多因素认证(MFA)、长会话中的持续重新认证、除预定义流程中授权外避免智能体之间的权限委托、IA对IA和智能体之间交互的相互认证、限制凭证持久性或智能体凭证的时效性等。限制权限升级和身份继承:例如,使用动态访问控制使提升权限过期,基于AI制定行为档案以检测角色分配和智能体访问模式中的不一致,要求人工验证涉及认证变更的高风险智能体行动,实时检测角色继承异常,对权限提升应用时间限制等。检测和阻止AI冒充尝试:例如,检测身份验证中的不一致,监督意外角色变更,检测、记录和警告认证尝试中的可疑偏差或失败尝试,以及智能体之间级联或递归工具执行模式,隔离产生协议流量异常的智能体。
对更新的严格控制
控制智能体AI系统中每个元素的更新内容,并决定这些更新何时进入生产,以避免不兼容性、不稳定性和缺乏稳健性、新处理、功能变更、新漏洞出现、法规合规变更、不受控制的国际传输等。
预防机制之一是纳入具有回滚可能性的版本控制系统。
考虑在更新情况下使用沙盒(见下文)和持续评估(章节)。
开发和生产中的沙盒
关于对环境的感知和行动能力,可以使用限制智能体与之交互的外部情境广度的措施。
在其最严格的表达中,应用沙盒原则意味着实施安全处理环境(SPE)。在其更宽松的表达中,我们将发现智能体AI系统与环境交互权限无限制的实施。在智能体AI调用的工具执行中使用沙盒是常见的中间应用。根据合规义务、影响或风险,应在两者之间建立架构。
沙盒的一种可能实施是使用受限环境,如容器或微虚拟机,以实现智能体执行的隔离。还可以使用受限终端技术:控制环境,其中命令集、服务和网络访问限于预定义的操作。
此类环境在测试阶段必不可少。
错误检测协议和应急计划
在处理管理中纳入详细说明哪些行动、由谁以及应对智能体AI问题所需资源的程序。在其他方面,关于个人数据泄露,减少影响和向数据主体通信。
数据提取流控制
在必要的处理中引入控制,要求用户对向第三方通信数据或大规模数据发送采取明确行动。
断路器和硬步数限制
智能体AI中的断路器(或circuit breakers)是当检测到预定义异常时自动中断智能体执行的安全机制,如无限循环、目标偏离、大规模数据访问、尝试大规模信息交换、目标偏离等。
校准和对齐控制
校准问题,只要可能影响个人数据处理(过多、敏感、不准确、无合法性),可以通过在推理链的中间阶段之间引入评估行动和数据相对于质量参数、与政策和法规对齐以及商业利益的措施来避免。这些措施可以根据每个阶段可能产生的影响或风险、所使用组件(例如LLM)缺乏透明度或可解释性或其他因素来实施。此类可能措施中还可以包括监督。
G. 同意管理
如果有基于同意的处理,数据主体还必须能够在复杂推理链框架内给予、修改或撤回其同意,该推理链可能包括多个存储库和多个参与者的多个数据源。
根据处理的复杂性、其影响和风险,管理可以采取不同形式,与"D.记忆控制"章节中阐述的内容密切相关。
智能体AI系统记忆的控制与数据最小化策略、推断或可重复性保证以及人员画像以及应用同意管理、权利行使和处理限制的可追溯性能力密切相关。
智能体记忆的控制必须在短期记忆和长期记忆上进行。
记忆管理
引入访问、编目和管理记忆内容的能力,允许例如按内容和质量参数搜索、删除、建立处理限制或使用警报、纳入访问可追溯性、可审计性。
记忆隔离
在组织中使用相同的智能体AI时,必须考虑为不同处理、处理中的不同案例和/或不同人员隔离和管理记忆的机会。
隔离的粒度级别将取决于处理,明确定义哪些记忆将是组织中智能体AI任何操作的通用,因为它实施其政策,以及哪些数据和信息需要在处理、用户和不同案例之间分离。这种隔离的严格性,从物理分离、刚性逻辑分离到按编目搜索,将取决于处理和政策。
用户记忆的分析和过滤
有必要能够限制用户记忆对处理实质性方面的影响,这些方面已被控制者识别。为此,有必要将任务执行中的个性化方面与可能对组织政策应用、组织不同行动之间一致性或偏见出现产生影响的方面分离。
为此,有必要能够区分组织记忆(由IT服务管理)和用户记忆,以便后者在智能体AI可能执行的某些行动中不被考虑。这些限制将取决于每个处理,可能是关于子任务划分、访问某些工具或关于决策。
选择性无日志政策
当智能体AI系统用于使用其某些组件(例如LLM)实施不同处理时,实施记录或日志存储所有处理的活动,建议在组件级别使用"无日志"或零数据保留政策。
该政策意味着组件中的信息记录是最小的,仅与请求的来源和类型相关,而非其内容。例如,推断组件不会存储提示或推断的内容,这些可以在处理级别的日志中记录,针对每个处理独立,并符合组织的信息政策。
建立严格的保留期限
为使用智能体AI的处理中构成处理的每个组件的特定类别和差异化需求确定期限和建立数据删除程序。
禁用记忆存储
在某些处理中,根据其需求,允许默认禁用持久记忆或由用户禁用。禁用的粒度可以在被认为高风险的子任务级别,以避免存储与未来处理无关的个人数据或避免注入的持久性。
应用记忆清理策略
应用长期记忆的清理或净化技术,通过自动检查有害内容、未使用或过时条目的到期、信息一致性分析、搜索和删除不必要的用户凭证、信息蒸馏、分析和消除偏见,以及强制用户/管理员进行清理的策略。
I. 自动化
自主性程度的决定
智能体AI系统可以拥有的自主性水平应由控制者为每个处理确定,同时考虑情境、范围、目的以及对人员权利和自由可能产生的风险,以及关于自动化决策的法规合规,必须有基于证据的适当理由并记录。
有效且安全的推理链设计
推理链的设计必须得到控制和验证。如果推理链由LLM制定,必须评估其是否具有解决将使用智能体AI的处理情境所需的质量水平。此外,必须保证在制定推理链时,不同学习模型之间没有污染的可能性(例如,不同行政程序的不同子任务)。
如果适用,评估实施推理链的必要性,全部或更高抽象级别,由管理员硬编码。例如,手动将处理划分为子任务,让推理智能体制定这些子任务的细节。
有必要预见可能的提示注入攻击和复合错误的产生。其中,应建立保证数据和指令严格分离、内容来源正确标记和可追溯性、使用工具权限限制、流程每个阶段(特别是持久记忆中的信息)输入的验证和清理通过护栏的控制。
还可以对智能体做出的最终决策进行自动评估,包括在容易产生复合错误的关键点的部分决策,以及纳入对持久记忆中信心的评估机制。
服务目录和白名单
这是拥有一个服务目录,可能包括不同的LLM,其中识别版本,特别是给予每个服务的可靠性和/或不同情境的适用性,以及避免产生对不存在服务调用的幻觉效果。
这允许在不同情境中用作白名单,灵活使用不同处理中的智能体AI系统(对于开发者,如果函数调用是预定义的,或限制LLM可调用的工具)。目录应涵盖外部服务,也包括内部服务,例如,数据存储库或允许访问操作员屏幕的服务。
可访问服务的限制
可访问服务的限制可以补充上述特定处理的目录。这样,每个处理都将有关于完成任务所需的最大工具类型和数据访问的明确定义政策。例如,在规范查询操作中,如果事先有以RAG形式提供的更新汇编,则不需要访问网络服务。
工具执行控制
调用互联网上的工具和服务实际上是智能体AI的部分输出,对用户可能是透明的。可以对其建立的控制有:控制调用工具的参数,实施护栏和刚性格式以检测错误或偏见参数。控制工具的响应,对输入内容实施新的护栏。对某些可能有更大影响的工具强制人工监督行动。
人工干预的标准和控制点
从设计阶段就应定义需要批准的重要控制点或行动限制,特别是在执行敏感行动之前。这可能包括:高影响行动和决策,例如,编辑敏感数据、高风险领域的最终决策(如医疗保健或法律领域),或可能产生法律责任的行动。另一个例子可能是使用从记忆中获取的用户凭证,在关键子任务中使用前请求授权。不可逆行动,例如,永久删除数据、发送通信或进行支付。异常或异常行为,例如,当智能体访问其工作范围之外的系统或数据库,或选择双倍于中位距离的交付路线时。由用户定义。智能体可以代表具有不同风险容忍水平的用户行动。除组织定义的限制外,可以为用户提供设置自己限制的选项,例如,要求对超过一定金额的购买进行批准。
智能体AI行动的可逆性
评估实施允许逆转某些行动的措施的必要性,例如,如果智能体可以修改数据。
根据处理确定自主性水平
为使用智能体AI的每个处理纳入可调整的自主性水平控制,根据影响或风险,从低影响和风险的处理的自主执行到高风险处理操作中具有大粒度的人工强制干预。
有效的人工监督
根据需要,需要确定何时将专家整合到流程的关键点,以验证、完善或取消智能体的决策(具有适当的取消机制),以免产生影响。
为评估人工干预,建议考虑:能力和权限:具有允许其改变自动化决策结果的权限或分配任务。准备和培训:具有评估决策和决定该决策的因素与处理情境和使用的自动化系统(其能力和限制)相关的能力和技能。独立性:评估是否存在来自组织内部或外部的压力,制约人员对该决策提出异议。行使其职责的勤勉:特别是,是否受到自动化偏见的影响。行使其能力和资格的手段:存在在适当时间和点以适当形式干预的程序和技术手段。拥有及时行使其资格所需的信息,特别是了解决策的一般后果、风险,以及为具体案例正在采取的决策和决定自动化决策的所有方面。这些包括具体个人的数据,但也可能包括数据收集输入程序、生成决策的模型中隐含的数据、自动化决策中未考虑的情境数据,以及决策系统的能力和限制。还包括人员在其资格中认为需要为具体案例考虑但自动化决策中未考虑的数据。拥有行使其资格的资源:智能体AI的决策必须是可解释的,例如,允许其分析用于自动化决策格式的信息的应用程序等。拥有对每个属于其资格的决策行使其资格所需的时间。
升级路径
人工监督可以通过实时监控进行补充,以升级任何意外或异常行为。升级意味着实施协议和技术,以在检测到高风险、不确定性或不可预测情况时将自动化流程的控制转移给人工操作员。
这可以通过实施特定注册事件的警报(例如,未经授权访问个人数据的尝试,或多次失败调用工具的尝试)、使用数据科学技术识别智能体的异常轨迹、使用智能体监督其他智能体、在不需要时访问特殊类别数据等来实现。
四眼原则
在对人员权利和自由有重大影响的自动化流程案例中,可以考虑应用不同人员的双重验证原则,这构成人工监督机制的额外信任层,促进人员的批判意识。
J. 透明度
GDPR规定了最低透明度措施。
然而,为了通过相称性分析或降低风险,可以实施额外措施。甚至,为了向数据主体证明其可以信任智能体AI系统的处理操作(作为用户、员工、客户等),可以采取以下措施:数据流的实时信息、关于数据主体数据在哪些第三方存储库或服务中处理的信息、处理活动和数据传输的访问活动记录、推理链中中间事件的信息、结果中使用的情境、进行的人工干预、请求审查或人工行动的可能性、访问认证、审计或EIPD等。
K. 素养教育
关于智能体AI系统的素养不仅对其实施在处理中的效率和效果至关重要,而且了解其能力、优势、弱点和限制允许有效的个人数据保护。素养应考虑人员在治理模型中的不同角色或不同处理中的用户,并至少在三层面进行:管理层面,了解做出关于在处理中纳入智能体AI的基于证据的适当决策所需的知识。IT开发、承包、部署、运营、维护和撤下这些系统的负责人层面,特别是理解和识别数据保护影响以及实施这些影响的技术和组织措施。在处理中使用智能体AI系统的不同角色用户层面,了解这些系统的可能性、影响和限制。
在此素养过程中,关键要素是DPO和数据保护顾问,体现在两个方面:DPO必须能够理解所使用工具的基础,了解实施保证的不同技术和组织替代方案,并能够预见这些系统为保护权利提供的机会。DPO必须告知和建议处理控制者或处理者以及员工关于这些系统在处理中纳入时的案例,并监督其部署中有合规保证。
VIII. 最终思考
AI系统,如智能体AI,已经到来并将在未来持续存在。试图忽视其存在,无论是从组织竞争力角度还是从控制机构角度,都将意味着错失机会。
了解这项技术对于就其实施做出理性决策、基于证据的决策是必要的。了解一项技术意味着不仅仅是成为用户,而是理解其基础、影响、限制和实施方式。无论是对智能体AI所有优势的非理性排斥,还是对其在个人数据处理中任何类型实施的无批判接受,都可能产生损害。
特别是,通过客观分析,所选的智能体AI实施允许不仅仅是确保数据保护,即仅对威胁和漏洞采取被动方法。考虑数据保护从设计阶段实施的智能体AI实施允许定义基于智能体的处理,纳入隐私增强技术(PETs),提供优于手动处理的保证。智能体AI本身可以是一种PET,如果我们将其用作例如主动评估组织访问的提供商不断变化的服务条款和合同的工具。
在这方面,DPO和数据保护顾问的参与是关键要素。为此,DPO必须了解处理和流程管理原则,能够理解所使用工具的基础,了解实施保证的不同技术和组织替代方案,并能够预见这些系统为保护权利提供的机会。此外,他们必须参与处理和所选智能体AI系统设计决策的制定,因为管理合规和数据保护风险的措施可能与实体其他目标和义务的履行相关,必须以整合方式解决。
最后,我们面临一项正在全面发展的技术,需要对其影响、措施和数据保护机会进行分析和经验。因此,请将本文视为一项介绍性研究,不追求详尽无遗。
IX. 参考文献
(略,自己去看原文吧)
OCR:IMG:agencia aepd espanola proteccion datos INTELIGENCIA ARTIFICIALAGENTICA DESDELAPERSPECTIVADE PROTECCIONDEDATOS 公众号·数据何规
OCR:IMG:agencia aepd espanola proteccion datos INTELIGENCIA ARTIFICIALAGENTICA DESDELAPERSPECTIVADE PROTECCIONDEDATOS
OCR:IMG:数据何规
#江西
IP属地:中国 江西