2024年9月

加拿大核安全委员会 英国核监管办公室 美国核管理委员会

CONTENTS

1 引言

2 特定国家的监管理念与观点 

3 核应用中人工智能用例的高级类别

4 现有安全与安保系统工程原则的应用

5 人员与组织因素

6核应用中的人工智能架构

7人工智能生命周期管理

8记录人工智能安全保障

9结论

10进一步阅读

1、引言

编写本文档是为了推进参与组织的使命，包括它们识别和传播有关核工业中已部署或可能部署的技术信息的责任。本文讨论的在核应用中开发人工智能系统的考虑因素旨在成为人工智能生命周期中所有参与者在开发和部署过程中应考虑的原则。因此，受众包括人工智能开发者、终端用户、申请人、被许可方、监管机构和监管合作伙伴等各方。                       

本文件概述了加拿大核安全委员会(CNSC)、英国核监管办公室(UK ONR)和美国核管理委员会(US NRC)所指出的人工智能(AI)部署的高级原则。本人工智能原则文件描述了在部署人工智能时应考虑的重要主题，以确保核设施的持续安全运行以及核材料的其他用途。为本文件做出贡献的三个监管机构认识到，在三个司法管辖区中的任何一个开发、审查和部署人工智能系统时，认真考虑这些原则的重要性。本文的受众包括人工智能开发者、最终用户、申请人、被许可方、监管机构和监管合作伙伴。这里讨论的原则旨在提醒各方，虽然我们鼓励有益地使用人工智能，但我们需要澄清并应对这些快速发展的技术带来的挑战。

本文档将人工智能定义为一系列能够从数据或经验中学习，以执行原本需要人类智能才能完成的任务的技术。人工智能系统是一个包含人工智能组件(例如神经网络)的系统，通常使用软件工具进行开发。数据用于训练人工智能系统以给出期望的输出，而独立数据则用于测试系统的性能是否符合预期。目前有各种各样用于开发人工智能的方法和工具，并且在很大程度上被整合到诸如计算机视觉、自然语言处理或生成式大语言模型等领域应用中。这些模型的底层架构以及相关数据可能保持不变，也可能根据新获取的数据不断演进。

人工智能可以支持通过非人工智能技术难以实现的成果。例如，人工智能能够分析比传统方法多得多的数据量，这有可能更好地管理工厂风险并提高效率。同样，充分发展的人工智能可以完成直到最近只有人类才能完成的任务，减少进入危险区域的需求，并有可能减少错误。此外，通过重新训练人工智能以从更新的信息中受益的能力提供了灵活性，使其能够从以往经验中快速学习并随着时间推移不断改进。人工智能的独特能力还使一些传统技术和人类都无法实现的活动变得可行，从而创造了直接和间接提高安全、安保和效率的机会。

尽管每个国家都在不同的监管框架下运作，但在核应用中使用人工智能时，审视所有各方都应考虑的一些基本原则仍然很重要。本文档分为以下几个部分，加拿大、英国和美国的核监管机构认为这些部分在管理使用人工智能所产生的风险方面可能很重要。请注意，顺序并不表示重要性。

·使用现有的安全和安保工程原则

-人与组织因素

-人工智能架构

·人工智能生命周期管理

·记录人工智能的安全性与安保情况

2 特定国家的监管理念与观点

加拿大核安全委员会(CNSC)、英国核监管办公室(UK ONR)和美国核管理委员会(US NRC)共同将核安全作为首要目标，但支撑这一目标的监管活动、框架和理念在不同监管机构之间可能存在差异。国家背景和优先事项的差异反映了历史、政治、社会、经济、技术和环境因素的独特组合

以往经验表明，当面对先进反应堆设计、小型模块化反应堆 (SMR)和数字化仪表与控制(I&C)等创新技术时，每个监管机构都会开展自身的监管分析与研究。然而，我们认识到，尽管每个国家的监管框架和流程各不相同，但在共享知识和经验以及寻求核应用中AI部署的通用技术评估方法方面有诸多益处。

如果一个监管机构在特定情况下接受了 AI 的部署，其他监管机构不一定会接受类似用途的部署，并且每个监管机构可能都希望进行自己的评估。然而，加拿大核安全委员会(CNSC)、英国核监管办公室(UK ONR)和美国核管理委员会(US NRC)之间通过谅解备忘录以及在核安全与安保主题上的密切合作所建立的现有关系表明，这三个监管机构将努力在可行的范围内协调其监管方法。这三个监管机构正在密切合作，以解决核工业中围绕采用AI 的问题，分享与人工智能相关的监管活动的经验教训，并促进信息共享，以便在各自的监管任务下安全可靠地使用人工智能。每个国家监管框架的描述可在以下提供的链接中找到:

·加拿大核安全委员会

·英国核监管办公室

·美国核管理委员会

3、核应用中人工智能用例的高级类别

在本文中，我们认为可以通过人工智能故障的重要性和人工智能自主性这两个轴来描述四类广泛的人工智能系统。 图1将其呈现为一个四区模型。

如图1横轴所示，人工智能自主性的程度反映了从更高程度的人类参与到更大程度的机器独立性的进展。这两个区域反映了从人工智能辅助或增强人类决策到人工智能决策由人类监督或预计几乎没有人类干预的转变。因此，这两个区域在横轴左侧被称为洞察/协作，在横轴右侧被称为操作/完全自主。关于这些术语的进一步讨论可在美国核管理委员会的人工智能战略计划(NUREG-2261)中找到。

图1. 对人工智能故障重要性和人工智能自主性进行分类

自动化和自主性存在多种定义；然而，清楚理解自动化与人工智能驱动的自主性之间的差异很重要。自动化被认为是一个根据预定义的规定性规则自动执行特定任务的系统。例如，当过程参数超过某些定义的限制时，反应堆保护系统会自动启动。自主性是一组基于智能的能力，使系统能够对系统部署前未预先编程或预期的情况做出响应(即基于决策的响应)。人工智能驱动的自主系统具有一定程度的自我治理和自我导向行为，从而能够在无需外部干预的情况下补偿系统故障。

随着人工智能自主性在横轴上的增加，存在一种从辅助人类决策的人工智能向几乎无需或完全无需人类监督即可运行的人工智能转变的趋势。在洞察/协作和操作/完全自主这两个水平之间，存在一个过渡阶段，随着人工智能开始较少作为设计、工程或推荐工具，而更多地作为取代人类决策的工具发挥作用，人类对故障做出反应的时间可能会减少。随着人工智能故障的重要性在纵轴上增加，对整个人工智能系统及其对安全和安保的影响进行更严格审查的可能性也会增加。如果人工智能系统在区域一运行，部署可能会有更大的灵活性。人工智能系统的开发者和评估者可能需要考虑在其他区域运行的人工智能系统的相应影响和后果。此图表是一种考虑整体人工智能系统风险的方式，并未对如何量化此类风险做出断言。

现有的涵盖核安全应用中数字组件和系统开发的国际标准(例如IEEE 7-4.3.2和IEC 60880)对使用软件工具开发执行安全功能的基于软件的系统提出了要求。 
 这些现有标准很可能被认为适用于图1中所示的人工智能类别，或者至少在开发人工智能系统时被视为一个起点。本节的其余部分将讨论与第一和第二区域相比，人工智能在第三和第四区域出现故障的重要性。

可能对安全或安保产生重大影响的故障(第三和第四区域)

在第三区域运行的人工智能系统的特点是能够在执行系统输出之前对其进行验证。然而，虽然对人工智能系统故障的响应时间可能会增加，但未被发现的错误可能会对安全产生重大影响，因此任何输出都需要一个强大的验证过程。属于该区域的用例可能包括有助于安全系统设计或维护的系统。与现有的安全系统一样，例如在多个反应堆设施中配置的人工智能系统仍然存在共因故障的可能性。

相反，在区域四运行的人工智能系统的特点是，在执行系统输出之前，其验证系统输出的能力较弱。虽然从技术上讲，使用人工来验证输出是可行的，但区域三与区域四之间的关键区别在于，这种验证可能无法在合理的时间限制内完成。因此，区域四的人工智能系统要求人工智能系统正常运行，或者由其他更可靠的组件或系统来减轻人工智能潜在的故障。属于该区域的用例可能包括人工智能优化的控制和保护算法。 

对安全或安保影响最小或无影响的故障(区域一和区域二)如果与人工智能系统故障相关的风险足够低，它可能对安全和安保影响最小或没有直接影响。 然而，人工智能可能作为次要考虑因素影响安全，而这可能不会通过现有的工程实践凸显出来，如下例所示。

一个人工智能系统部署在核反应堆涡轮机工厂，用于分析维护数据并确定某些维护项目是否可以减少。这个人工智能系统可能会减少工厂维护工作，但这会增加涡轮机意外跳闸以及随后反应堆跳闸的可能性，给反应堆安全系统带来过度负担。反应堆保护系统不应承受过度压力，这是一项关键的安全原则。

在这个例子中，很明显人工智能的部署可能会意外导致风险增加。与所有风险一样，核运营商必须对其进行适当管理。因此，用于做出运营决策或直接决策的人工智能系统更依赖于确保基础人工智能模型得到更新、维护和验证。随着人工智能的应用从第一区域过渡到第二区域，需要对人工智能系统进行维护，以避免性能下降，并使其与该应用预先确定的变更控制和通知流程保持一致。第二区域的使用增加了人工智能驱动的自主性水平，并可能减少人工干预人工智能故障的可用响应时间。

考虑该工具是否有能力在软件系统中引入故障、是否会遗漏现有的故障，以及该工具的输出是否可以通过其他方式进行验证，这些将影响人工智能系统或组件在相关安全分类方案下的分类方式。即使人工智能系统被确定与安全无关且较低的系统置信度被认为是可接受的，考虑到容错、故障避免和软件验证是数字计算机系统设计的重要方面，这一点仍然很重要。关于现有安全和安保系统工程原则使用的第4节进一步详细阐述了这一观点。

4、现有安全保障系统工程原则的应用

监管机构要求核责任方或许可证持有者证明核活动产生的风险得到了充分控制，并阐明这些风险是如何得到管理的。各种核活动的安全原则已编入国际标准以及针对安全保障系统工程的特定国家监管指南中，旨在满足这些期望。这些原则为可能造成危害的系统的设计提供了指导，并且在核工业中已得到充分确立。然而，这些标准和指南在制定时并未考虑到人工智能技术，因此人工智能开发者和系统集成商将不得不考虑哪些部分可以应用，以及还需要做些什么来填补任何空白。

工程标准规定，对于给定的应用，应使用最合适的技术。该技术应尽可能简单，以确保能够分析和理解故障类型，使未知故障类型尽可能少。因此，在许多应用中，管理人工智能系统故障产生的风险的有效方法可能是部署尽可能简单的技术与人工智能相结合，以防止未知故障造成危害。简而言之，人工智能可能不是合适的解决方案，因为它可能会不必要地使原本简单的系统变得复杂。更简单的技术通常会降低整个系统的不确定性，并更有把握确保实现设计目标。

例如，一名核操作员希望在核电站的控制室中部署一个人工智能系统，以协助反应堆操作员进行决策。目前尚无与此相关的具体标准，但监管机构有理由期望核操作员能够确定可适用的最适当标准、法规和监管指南。在这种情况下，有涵盖控制室、功能软件安全、功能分类和系统分类等方面的标准和指南。差距分析可以突出由于人工智能系统的独特方面而无法应用标准和指南的领域，使核操作员能够确定管理剩余风险的适当缓解措施。

这些缓解措施可以是基于人工智能的技术，以便对人工智能可能出现故障的方式有一定的信心，或者是现有标准完全适用的传统系统。附件中的表1列出了在上述示例中可应用于整个核领域的典型标准和指南。

在某些应用中，人工智能故障的后果可能非常严重，以至于证明其使用的合理性将极具挑战性。此外，可能存在其他用例领域，传统技术无法有效干预以防止AI 故障的后果。随着时间的推移，可能会开发设计和分析技术，以验证在故障会产生重大后果的情况下，人工智能是否可靠。这些验证模型需要得到清晰的证明，以便在这些应用中部署AI 。

相反，对于某些应用，人工智能故障的后果可能是可以容忍的，特别是如果人工智能提供的安全益处明显超过故障风险。例如，在移除的情况下，对于在手套箱中操作危险工艺的操作人员而言，与降低操作人员剂量的益处相比，人工智能破坏防护层的风险可能微不足道。在这种情况下，系统设计者最好考虑从故障状态中恢复，以应对与人工智能故障相关的所有风险源。

除简单性之外，其他原则已被证明在风险管理中是有效的，包括多样性、冗余性、分离和隔离。 这些措施涵盖了一种设计和运行核设施的方法，可预防和减轻释放辐射或有害物质的事故。关键在于创建多个独立且冗余的防御层，以弥补潜在故障，这样就不会完全依赖任何单一的层，无论其多么坚固。这些方法可能仍适用于人工智能系统，从而使安全性不会完全依赖于核应用中人工智能设计、建造、维护或运行的任何单一要素。

5、个人与组织因素

人工智能技术使系统日益具备自主性。尽管人工智能是一种可用于实现自主性的潜在技术，但不依赖人工智能也可能实现自主性。此外，并非所有人工智能的应用都是完全自主的。例如，许多人工智能功能可能用于增强人类决策，而非取代人类决策。由于机器决策与人类决策的这种融合，组织和终端用户可能面临独特的人与组织因素挑战。

本节认为，虽然人类可能带着明确目标部署人工智能系统，但可能难以确定该目标最终是否实现。引入机器决策者还意味着人类可能对机器的行为负责，也可能不负责。 这可能对包括反应堆操作员执照发放、运行概念和规则制定等领域产生深远影响。因此，鉴于对人工智能驱动决策的依赖可能增加，以及机器与人的交互更像人类(例如对话式人工智能助手)，应考虑人工智能故障如何影响人机协作。

加拿大核安全委员会(CNSC)、英国核监管办公室(UK ONR)和美国核管理委员会(US NRC)现有的监管框架概述了核工作人员应如何接受培训、认证、核实，并随后进行监测，以确认他们是否按要求履行职责。几十年来，人类的能力和弱点已得到充分认识。人因工程学的一个基础组成部分是制定人类绩效基线，以捕捉整个核控制系统中计算机系统的定量和定性特征(电气和电子工程师协会标准协会，1998年 )。由于人工智能将影响核系统的定量和定性方面，因此，全面描述其预期用途以支持后续分析、设计决策和合规计划是一种良好做法。这一领域的考虑因素可能包括但不限于以下方面:

-人工智能组件或元素旨在提供的能力，

·与人类相比，哪些功能、角色或职责将分配给人工智能，

·由于纳入人工智能能力而产生的新功能、角色或职责，

-人类与人工智能如何交互，以及

·人类干预或不干预人工智能操作的能力 (自主程度)。

长期以来，人因工程学从业者一直采用各种方法来思考如何在人与机器之间最佳地分配功能，包括制定工作时间表、培训和人员配备等功能。用于将功能分配给人类或机器(包括人工智能)的标准可能会考虑当前技术的相对能力和弱点。此外，每当将功能分配给机器时，都应充分考虑分配给人类的相关监督或监测任务。鉴于目前在如何可靠地识别局限性或故障方面存在不确定性，这对于人工智能能力尤为重要。

许多现代人工智能系统就像黑匣子一样，这意味着用户几乎无法获得有关系统如何从输入生成输出的信息。这与大多数核应用明显不同，例如，反应堆操作员可以记住逻辑电路，并能很容易地识别电路何时未按预期运行。

反应堆操作员目前接受的培训是信任他们的控制面板指示(例如仪表、量表、信号器、显示器等)，因为这些指示是可靠的、可预测的，并且异常操作通常很容易辨别(例如通过通道检查或使用备用仪器)。人类可能不愿意信任人工智能系统，可能会对自主做出的任何决策或行动产生质疑。或者，人类可能会完全信任人工智能系统，认为机器总是正确的，这意味着有效地绕过了人工验证。这可能会导致自满情绪，即人类不再监控系统，因为系统通常运行良好，因此人类不再是人工智能系统的有效备份。可以部署诸如更传统的软件系统或强化培训及协议等预防性防护措施来降低风险。

将人工智能有效集成到核系统中，需要探索人与机器之间信任的连续统一体，建立一个最佳水平，以在保持适当人类监督的同时实现AI 的益处。在建立人与人工智能能力之间的适当信任水平时，应注意:

-人类所需的系统知识水平，

-人类如何监控人工智能能力的性能，

·人工智能能力如何进行自我监测，

·人类或人工智能能力自身如何识别对人类干预的需求，

·人工智能能力与人类之间的控制权交接是如何完成的，以及

·如果人类已进行干预以从人工智能能力手中接管功能，何时以及如何将控制权交还给人工智能。

除了在核系统人工智能能力开发过程中评估上述各项内容外，还应考虑在系统的整个生命周期内管理信任并防止人类自满。可能需要有表明与性能相关的不确定性的新特性以及用于指示可疑性能的警报。

所有分配给人类的系统功能都需要一个用户界面，该界面要以有效的方式呈现所有相关信息。人工智能功能可能会引入新的信息，或者需要创新的数据呈现方式，以便人类在与人工智能保持适当理解和信任水平的同时，有效地管理系统功能。此外，人工智能系统的用户界面应考虑如何在正常和故障情况下支持人类与人工智能之间的控制权转移。

每当引入新技术或新系统时，都应制定培训计划，核系统中的人工智能也不例外。除了考虑理解系统操作和人工智能功能所需的知识外，培训计划可能还需要涉及识别人工智能故障的方法、干预流程和程序 (例如从人工智能手中接管控制权或纠正人工智能)，以及恢复系统中人工智能功能的流程和程序。由于人工智能系统在运行过程中可能会不断发展，因此还应考虑以能够适应人工智能功能任何发展的方式来构建培训计划。甚至可以在培训计划的开发或交付过程中引入人工智能功能。

最后，应考虑引入人工智能功能对人类绩效和组织监测计划的影响。 例如，对安全文化的潜在影响。在开发阶段，应该能够验证安全已被确立为决策算法中的首要任务。然而，一旦部署，如何对人工智能模型做出的决策进行监测和验证，以确认它们与预期的安全优先事项一致？还应考虑安全文化监测的结果将如何反馈到系统设计中，从对人工智能模型的调整到将功能从人工智能重新分配给人类。此外，还应考虑为因人工智能而得到增强的工作岗位维持最低水平的人员资质，并支持适当的人员冗余、培训和认证，以确保组织的有效性。

人工智能能力的引入可能会显著改变人类与核系统的交互方式。在引入人工智能系统之前，应仔细考虑如何在保持适当水平的人员和组织绩效的同时有效整合人工智能，以确保在核环境中的安全运行。

6、核应用中的6种人工智能架构

将人工智能集成到核系统中需要仔细考虑软件和控制系统的架构原则，以确保可靠和安全的运行。 本节讨论了核应用中围绕人工智能架构的一些考虑因素，如系统边界、监测和模块化。本节所讨论的架构是指人工智能如何与更广泛的系统进行交互，这在管理安全可靠的人工智能部署中可能是一个重要的考虑因素。 应该指出的是，核应用的软件和系统架构领域所采用的原则仍然可能适用，应该予以鼓励。

系统边界

建立明确的系统边界对于确保基于人工智能的核应用的完整性和安全性至关重要。这些边界定义了人工智能系统的范围，描绘了其与物理核环境以及人工智能系统影响控制或保护系统时与其他组件的交互。系统边界应经过精心设计，以确保数据交换可靠、安全且与现有基础设施兼容。此外，这些边界应纳入处理错误和异常的机制，防止人工智能系统无意中触发不安全行为或扰乱关键流程。一些系统边界考虑因素包括:

·数据可用性 - 人工智能可以处理各种各样的数据源，如果不加限制，可能会导致系统处理效率低下。 由于系统受限于具有固定处理能力的硬件，因此可以尽早确定边界以优化资源。

·限制软件输入和输出 - 通过对由传统系统控制的软件输入和输出设置限制来约束软件系统，可能会使人们信任更广泛的系统架构，而不是  组件本身。如果 
 输出的允许范围是安全的，那么产生不良或意外后果的可能性可能会更低。

·隔离原则 - 整体系统架构可用于限制人工智能系统的功能。多样化、冗余和隔离的系统是核设施的关键安全原则，与利益相关者或接口系统控制隔离可将意外行动降至最低。

监测

对人工智能系统进行持续监测对于检测潜在异常、预防故障和维护系统完整性至关重要。监测策略应涵盖人工智能系统本身和核物理环境。

人工智能系统监控专注于评估人工智能模型和算法的性能、准确性和可靠性。这可能涉及跟踪诸如模型准确性、错误率、计算效率和偏差等指标。例如，监控可能包括一种检测和提醒潜在对抗性攻击的机制或尝试操纵人工智能系统。这可能涉及实施异常检测算法、入侵检测系统和访问控制措施。

在整体架构中建立有效的监控机制可以确保人工智能输出的准确性，并在人工智能系统中建立信任。监控的概念与边界密切相关，因为边界可以限制需要监控的内容。

模块化

虽然整体式人工智能可以发现趋势并从各种来源消费数据，但核应用中使用的人工智能可能受益于模块化，以提高灵活性、可维护性和可解释性。模块化设计原则包括将AI 系统划分为更小的独立模块，每个模块都有明确的功能。关于模块化，软件和数据是需要考虑的特定方面。

从软件角度来看，有多种人工智能方法和技术(例如计算机视觉、自然语言处理和生成式语言模型)被广泛应用于各种用例中。由于用例的多样性，为非安全应用开发的人工智能系统可能没有遵循安全应用所需的同样严格的开发标准。因此，领域适配可能是一个问题，因为人工智能模型在不同领域的训练和验证差异可能会导致由于人工智能知识不完整而产生的细微遗漏或错误。

将人工智能模型转移到新的领域应用中需要仔细考虑风险、收益和操作性能差异。例如，将一个经过训练并部署用于监测非安全辅助建筑火灾的模块化计算机视觉应用重新用于监测和检测安全相关设备室中的火灾可能很有吸引力。然而，如果新环境不是原始人工智能系统开发的一部分，则应考虑新的操作条件、模型限制和新环境中的性能特征。

人工智能系统的模块化程度，以及它在其他领域的适用性(例如，将用于一种金属焊接的计算机视觉焊接检测模型应用于不同操作环境中的另一种金属焊接)，在很大程度上取决于用于训练、验证和测试该模型的数据。 在评估新的应用用例时，应考虑了解模型的训练边界条件和相关的应用限制，并将其纳入整体的基于风险的决策中。

模块化对整个系统设计可能有益，因为它允许在有问题的模块级别隔离问题或错误，而不会对更大的操作系统功能产生不利影响。 因此，模块化有利于开发者和终端用户跟踪性能并追溯故障根源。大型的整体式人工智能模型可能会导致人工智能系统的行为难以询问、解释或诊断。

7\人工智能生命周期管理

本节讨论了核应用中人工智能生命周期管理的高层次原则，以及如何将 
 生命周期理解为一个从设计概念到开发再到最终部署的迭代过程并进行管理。这些人工智能生命周期考量包括人工智能生命周期管理的关键属性，强调了评估过程、配置管理策略以及持续监测和调整的必要性。这对于降低风险以及确保人工智能应用的安全集成是必要的。

人工智能生命周期管理的考量因素

跨学科团队有利于有效管理人工智能生命周期，包括将设计、开发和部署作为整个产品生命周期的一部分。下面讨论了将传统核安全与人工智能生命周期相结合时的一些独特考量因素。

·人工智能设计——数据是任何人工智能解决方案的基础，因此指定所需数据及其结构至关重要。

·人工智能开发——模型选择和训练过程是迭代的，可能需要进行微调才能实现给定用例的性能目标。应选择适当的可量化指标，以便向利益相关者传达模型性能和准确性。

·人工智能部署——部署在生产环境中的模型可能会接触到训练数据未涵盖的新数据。因此，应考虑实施自动持续监测控制，以检测和缓解数据及模型漂移。部署后，应建立系统来监测可能由训练数据偏差或模型故障导致的意外行为。虽然应保持传统软件工程生命周期管理实践，但在评估整个开发、维护和监测方法时，有一些独特的人工智能特定生命周期管理考虑因素值得纳入考量。

·测试、评估、验证和确认——需要工具和指标来评估模型在符合性能、安全和道德标准的情况下按预期运行的能力。人工智能伦理这一主题涵盖了广泛的议题，即在人工智能系统中融入人类价值观，如个人权利、隐私、非歧视和人道决策。持续监控已部署的人工智能模型对于确保其持续性能和符合既定标准至关重要。这涉及跟踪指标，以及识别和解决潜在的性能下降问题。

·配置管理和快速的技术变革——由于数据漂移(即原始数据不再代表运营数据)和模型漂移(即原始模型不再忠实地代表所建模的潜在现象)，人工智能系统可能需要更频繁的维护以及进行纠正性维护的触发条件。这两个概念都会导致性能下降或偏差的引入。人工智能的研究、开发及现有工具不断更新，可用软件包的开源性质加剧了这种变化速度。

·管理再训练、领域适应和数据漂移带来的风险——用于训练人工智能系统的数据集可能会脱离其原始和预期的背景，或者相对于部署背景可能会变得陈旧或过时。人工智能模型可能需要重新训练，以保持其在应对不断变化的数据分布或不断演变的业务需求时的有效性。然而，重新训练会带来诸如过拟合或引入新偏差等风险。仔细考虑重新训练策略，包括选择合适的数据集和评估技术，对于减轻这些风险至关重要。此外，对于在特定数据集上训练的人工智能模型的领域适应也存在担忧，当应用于不同领域或环境时，这些模型可能无法达到最佳性能。考虑与第三方人工智能技术相关的风险很重要；迁移学习，即从一个任务中学到的知识在另一个相关任务中重新使用；以及标签外使用，即人工智能系统可能在一个领域中进行决策训练，然后针对另一个领域进行微调。由于数据偏差、硬件差异和环境条件等因素，人工智能模型在测试环境和实际部署之间也可能表现出性能差异。

相关的人工智能生命周期管理标准和实践

在已发表的文献以及众多国家实体发布的人工智能指南和框架中，不乏各种不同的人工智能生命周期模型、框架和流程概念。许多这些人工智能生命周期管理方法，无论在国内还是国际上得到认可，都试图扩展现有的软件和系统生命周期流程，而且许多尚未达到最终共识标准的水平。 

在缺乏完善的人工智能特定标准的情况下，非人工智能特定的核软件和系统生命周期流程可能仍然广泛适用于人工智能系统。在使用这些标准时，应考虑人工智能引入的独特属性。

此外，有无数指南试图弥合人工智能产品设计的学术研究与实际商业实施之间的差距。这些指南可见于学术文献、人工智能供应商的最佳实践和指南，以及开发安全可靠人工智能系统的国家准则。它们包括设计、开发和部署等方面，如用户需求定义、数据收集、心智模型、可解释性和信任、反馈和控制，以及错误和优雅失败。

8、记录人工智能安全与保障

人工智能已在特定科学应用中使用了数十年，但直到最近，随着低成本计算能力和工具的改进，它才在更广泛的应用中变得切实可行。核工业通常是新技术的缓慢采用者，这在过时管理以及仪器仪表和控制从模拟硬件向数字硬件的转换中已有体现。因此，目前在核安全与保障应用中部署人工智能系统的经验有限，相反，针对潜在研发用例的研究正在进行中。

人工智能系统可能以与传统系统和人类相似或不同的方式出现故障。 故障原因可能难以确定，因为目前尚无法透明地解释人工智能系统的输出与其输入之间的关系。在设计过程中应用于传统软件的许多现有验证和确认活动可能不足以量化人工智能系统中的所有错误。此外，由于许多人工智能系统旨在适应不断变化的数据并随着时间的推移根据反馈改变其行为方式，以前的性能确认可能很快就会过时。错误输出的后果将因应用而异，有些应用比其他应用更敏感。

这可能会导致一系列不同的结果，从没有影响到对人员、设施或环境造成不可接受的风险。以一种能让包括用户、开发者和监管者在内的各种利益相关者达成共识的方式记录人工智能安全保障的依据非常重要。目前还没有方法可以量化系统中人工智能组件的故障概率，这使得很难信任人工智能组件能以任何程度的完整性执行功能。如前所述，这种完整性可能必须从人工智能系统及其组件的架构中推导出来。然而，如果要依靠其他系统组件来降低人工智能故障的风险，就需要了解AI系统本身的某些方面。

应了解人工智能系统可能出现故障的方式，以证明整个系统的安全性。人工智能系统可能以意想不到的方式出现故障，并且这种故障可能以意想不到的方式传播。如果没有得到适当考虑，这可能会显著改变传统的故障分析。然而，如果使用组件来限制AI 的可能输出，则有可能消除AI 意外故障的后果。同样，人工智能技术有许多不同类型，要证明一种技术在实验室环境之外总能达到特定性能可能具有挑战性。需要清楚地了解特定人工智能技术的不确定性。在缺乏确定性的情况下，应考虑故障后果的可容忍性，或由另一个具有足够可靠性的独立系统对其进行管理。

数据、测试和安全都可能成为挑战。需要进行独特的考量，以验证人工智能系统数据的充分性，以及偏差、不确定性和数据伪影如何影响安全性的证明。建议确保人工智能的故障是可容忍的，或者由更强大的系统来减轻。测试是一种常用的方法，用于在一系列条件下确保对系统性能的信心。然而，随着系统变得越来越复杂，内部状态的数量会迅速增加，并且要确保足够的测试变得越来越困难。大多数人工智能系统会将复杂性提升到极端程度，仅靠测试无法对人工智能系统的安全性获得任何显著保证。

证明人工智能系统的安全性可能需要新颖的方法，因为恶意活动可能有新颖的方式改变人工智能的行为，例如利用系统训练所使用的数据来攻击该系统。由于复杂性增加，攻击向量空间可能比传统软件系统更大。

最后，文档对于证明人工智能系统足够安全至关重要。该文档的一些方面将类似于现有系统，如验证和确认手册、测试程序、方法及用户指南。

9、结论

核工业受益于数十年的运营经验、成熟且严谨的设计与运行协议，以及强大的安全文化。近期人工智能发展的快速步伐与核工业传统上遵循的缓慢且有条不紊的变革过程有些背道而驰。尽管如此，核工业和监管机构在人工智能系统方面的主要目标将是在受益于其部署的同时保持足够的安全保障。需要强调的一些结论要点包括审慎应对人工智能系统中的安全挑战、始终关注数据，并留意共识标准。                       

确保人工智能安全具有挑战性，因为许多人工智能系统包含来自外部或开源的组件，如数据、软件(包括操作系统)、硬件和硬件配置。本文所述原则涉及安全和安保两方面的考量。人工智能系统面临的安全挑战至少与现有软件方法一样重大，即便人工智能系统存在一些新的安全漏洞，需要与标准的网络安全威胁一并加以考虑。与来自世界各地的22个机构和部委合作制定了安全人工智能系统开发指南，其中包括来自英国、美国和加拿大的安全机构。该文件为任何使用人工智能的系统推荐了指南，无论这些系统是从零开始创建的，还是基于他人提供的工具和服务构建的。实施这些指南将有助于供应商构建按预期运行、在需要时可用且在不向未经授权方泄露敏感数据的情况下运行的人工智能系统。 

数据是支撑人工智能系统开发与实施的基础要素。它是人工智能算法学习、识别模式并做出明智预测的催化剂。在核工业中，可靠性、安全性和安保至关重要，数据的质量与完整性对于确保一个AI系统的充分性能至关重要。数据缺陷，如不完整、有偏差或不准确，可能导致人工智能输出错误，产生潜在不可接受的后果；有缺陷的数据可能导致有缺陷的输出。同样，在实际部署中与训练或测试时接收非常不同输入的人工智能系统可能表现不佳。因此，在人工智能的整个生命周期中进行细致的数据管理、验证和治理，对于将人工智能成功整合到核工业中至关重要。

工程设计标准有助于确立支持包括安全保障在内的关键目标的活动和良好做法。核领域的常规软件、硬件和系统开发存在国际标准。然而，目前针对特定于核的人工智能设计和论证的标准在高后果应用或可能存在社会危害的情况下无法提供足够的保障。人工智能发展的快速步伐意味着在不久的将来不太可能有适用于核领域的特定于人工智能的共识标准来支持监管活动。在此期间，现有的特定于核的标准仍然是一个起点，同时要考虑到人工智能引入的独特属性。                       

虽然成功部署人工智能存在一些需要考虑的障碍，但使用人工智能也可能带来巨大的好处。如果有效管理，许多应用中的负面后果可以避免或减轻。本文件认可这一立场，并描述了加拿大、英国和美国核监管机构认为在管理人工智能使用所产生风险方面重要的特征。

10、进一步阅读

本节提供了一些有用文档、存储库、标准、网站和组织的链接列表，这些内容进一步扩展了本文档中围绕人工智能安全可靠开发与使用所讨论的一些考量因素。并非所有链接都与核能领域特定相关，但许多链接通常适用于核领域所考虑的广泛人工智能用例。提及任何特定标准、商业产品、流程或服务并不构成或暗示加拿大核安全委员会(CNSC)、英国核监管办公室(UK ONR)或美国核管理委员会(US NRC)对其的认可或推荐。

·经济合作与发展组织(OECD)人工智能政策观察站维护着一个工具和指标存储库，以帮助人工智能从业者开发、部署和使用值得信赖的人工智能系统及应用程序。

·人工智能标准中心是英国发起的一项倡议，致力于人工智能技术不断发展的国际标准化领域，并策划了一个可搜索的国际人工智能标准数据库。

·美国核管理委员会(US NRC)的《2023 - 2027财年人工智能战略计划》为美国核管理委员会确立了愿景和目标，以培养精通人工智能的劳动力，跟上人工智能技术创新的步伐，并确保在美国核管理委员会监管的活动中安全可靠地使用人工智能。

·美国国家标准与技术研究院(NIST)制定了《NIST人工智能风险管理框架》(AI RMF)，供自愿使用，以提高将可信度考量纳入人工智能产品、服务和系统的设计、开发、使用和评估的能力。

·美国能源部制定了《人工智能风险管理手册》，作为人工智能风险识别和推荐缓解措施 (可行途径)的综合参考指南，以支持负责任和值得信赖的人工智能使用与开发。

·美国食品药品监督管理局(FDA)、加拿大卫生部和英国药品与保健品监管局(MHRA)共同确定了10项指导原则，可为良好机器学习实践的发展提供参考。

·美国国家安全局人工智能安全中心(NSA AISC)与美国国土安全部网络安全与基础设施安全局(CISA)、联邦调查局(FBI)、澳大利亚信号局澳大利亚网络安全中心(ASD ACSC)、 加拿大网络安全中心(CCCS)、新西兰国家网络安全中心(NCSC-NZ)以及英国国家网络安全中心(NCSC-UK)联合发布了网络安全信息表《安全部署人工智能系统》。

·麻省理工学院人工智能系统对抗威胁态势(ATLAS™)是一个全球可访问的、基于现实世界攻击观察以及人工智能红队和安全组织的实际演示的、关于对手战术和技术的动态知识库。 

·人工智能观察网是欧盟委员会联合研究中心(JRC)的人工智能网站，展示了可信人工智能领域活动的成果。

·道德人工智能与机器学习研究所维护着一个GitHub代码库，其中包含一份经过精心挑选的开源库和商业平台列表，可用于部署、监控、版本控制和扩展人工智能及机器学习应用程序。

·人工智能事件数据库整理了用户提交的事件报告库，旨在梳理人工智能系统在现实世界中造成危害或险些造成危害的总体历史记录。

·国际标准化组织(ISO)和国际电工委员会(IEC)的联合技术委员会(JTC)1下属的第42小组委员会(JTC1/SC42)专注于人工智能标准。

·电气和电子工程师协会(IEEE)制定了IEEE CertifAIEd  认证计划，用于评估自主智能系统的道德规范，以帮助保护、区分并促进产品的采用。

·电气和电子工程师协会人工智能标准委员会在多个技术领域拥有多项已批准和提议的与人工智能相关的标准。

11 ANNEX

表1:各监管领域的相关标准和指南

主题

标准和指南文件

一般

REGDOC 2.5.2反应堆设施设计 美国核管理委员会，《联邦法规汇编》第10编第50部分，生产和使用设 施的国内许可美国核管理委员会，《联邦法规汇编》第10编第50部分，核电站的许可证、认证和批准1965年英国《核设施法》英国核监管办公 室，《核设施安全评估原则》，2014年版，修订版1

系统安全系列

电气和电子工程师协会，603号，核电站安全系统标准准则(注:本 标准基于单一故障准则。它不被视为“功能安全”标准。)国际电工委员 会61513 核电站——对安全至关重要的仪表和控制——系统的一般要 求 以及 国际电工委员会61508 电气/电子/可编程电子安全相关系统的 功能安全

功能安全

IEC 61513 核电站——对安全至关重要的仪器仪表与控制——系统通用 要求IEC 61508 电气/电子/可编程电子安全相关系统的功能安全IEEE 603 
 -2018，安全系统标准准则IEEE 279 
 -1971，保护系统准则 (注:IEC 61508和IEC 61513均被视为“功能安全”标准。IEC 61513是 IEC 61508的“子”标准，特别适用于核工业。)

软件安 全

IEC 60880 核电站 - 对安全至关重要的仪器仪表和控制系统 - 执行A类功能的基于计算机的系统的软件方面IEC62138，核电站 - 对安全重要的仪器仪表和控制 - 执行B类或C类功能的基于计算机的系统的软件方面IEEE，7 - 4.3.2，核电站安全系统中数字计算机的标准准则IEC62566，核电站 - 对安全重要的仪器仪表和控制 - 用于执行A类功能系统的硬件描述语言编程集成电路的开发。IEC 62566 - 2 核电站 - 对安全至关重要的仪器仪表和控制系统 - 硬件描述语言编程集成电路的开发 - 第2部分:用于执行B类或C类功能系统的硬件描述语言编程集成电路。IEEE 1012 
 - 2016或2004，系统和软件验证与确认IEEE 1028 
 - 2008，软件评审和审核IEEE 828 
 - 2012或2005，配置管理系统和软件工程IEEE 829 
 - 2008，软件和系统测试文档IEEE 1008 
 - 1987，软件单元测试IEEE 830 
 - 1998，软件需求规格说明

硬件安 全

IEC 60987 核电站——对安全至关重要的仪器仪表与控制——基于 计算机系统的硬件设计要求 IEEE 7-4.3.2 
 -2016或2003，安全系 统中可编程数字设备的标准

网络安全

CSA N290.7:21 《核设施网络安全》，加拿 大核安全委员会法规文件2.5.2反应堆设

CSA集团，《加拿大核工业中的新兴数字技术》：

https://www.csagroup.org/article/research/emerging-digital-technologies-within-the-canadian-nuclear-industry/

安全人工智能系统开发指南(加

拿大、美国、英国及国际伙伴)：

https://www.cyber.gc.ca/en/news-events/guidelines-secure-ai-system-development

国际原子能机构，《核设施计算机安全技术》，国际原子能机构核安全系列第17 - T号(修订版 1)国际原子能机构，维也纳(2021年)，国际原子能机构，《核设施仪表 与控制系统的计算机安全》，国际原子能机构核安全系列第33 - T号，国际 原子能机构，维也纳(2018年)。国际原子能机构，《核安保的计算机安 全》，国际原子能机构核安全系列第42 - G号，国际原子能机构，维也纳 (2021年)。国际原子能机构，《降低核供应链网络风险的计算机安全方 法》，非系列出版物，国际原子能机构，维也纳(2022年)。IEC 62645:2019 - 核电厂 - 仪表、控制和电力系统 - 网络安全要求，国际电工委 员会，日内瓦，2019年。IEC 63096:2020 - 核电厂 - 仪表、控制和电力系 统 - 安全控制，国际电工委员会，日内瓦，2020年。IEC 62443系列工业自 动化和控制系统安全标准IEC TR 63486，核设施 - 仪表、控制和电力系统 - 网络安全风险管理方法IEEE 692 - 2013 - 核发电站安全系统标准的IEEE标 准

控制室系列

IEC 61839:2000，控制室设计 - 功能分析与分配；IEC 61771:1995，主控制室 - 设计的验证与确认；IEC 61772:2009，控制室 - 视觉显示单元(VDU)的应用；NUREG-0700，R2，2002，人机系统接口设计审查指南

主题

标准与指导文件

功能分类与系统分级

IEC 61226 核电厂 - 对安全重要的仪表、控制和电力系统 - 功能分类与 系统分级 IEC/TR 61838 核电厂 - 对安全重要的仪表和控制 - 用于功能 分类的概率安全评估的应用 IEC 62385 核电厂 - 对安全重要的仪表和 控制 - 安全系统仪表通道性能评估方法 IEC 1500 核电厂 - 对安全重要 的仪表和控制，执行A类功能的系统中的数据通信 IEEE 1819 
 -2016，电气和电子设备的风险知情分类

生命周期 管理

ISO/IEC FDIS 5338 ，信息技术——人工智能——人工智能系统生命 周期过程，定义了一组用于描述基于机器学习和启发式系统的人工智 能系统生命周期的过程及相关概念。ISO/IEC FDIS 5338提供了在人工 智能系统生命周期各阶段支持其定义、控制、管理、执行和改进的过 程 
 IEEE 1074 -2006，制定软件项目生命周期过程

核技术论坛

阅读 赞 分享 言