G.O.S.S.I.P 成果推荐 2024-03-26 AIcert人工智能安全评测平台

人工智能安全评测平台AIcert是浙江大学区块链与数据安全全国重点实验室人工智能数据安全团队在科技部科技创新2030-“新一代人工智能”重大项目、国家重点研发计划青年科学家项目、国家自然科学基金委区域创新发展联合基金重点项目、浙江省领雁计划项目等多个国家级/省部级项目以及浙江大学区块链与数据安全全国重点实验室的共同支持下研发的基于AI系统行为安全验证理论、模型自动建模开发、六维综合量化评估等先进技术实现的多层面全方位全栈安全评测平台。

可视化、形式化的理论验证：针对主流评测工具如A**、R*******等缺乏安全理论验证的现状，AIcert平台提供了形式化安全验证功能，确保AI系统在复杂情况下的可验证正确性，并在此基础上进一步实现了对多个系统安全特性的快速可视化验证功能。 形式化验证功能支持数据样本上传，模型选择以及形式化验证算法与参数输入，实现了模型特征安全性验证、知识特征一致性验证以及输出空间可达性验证的在线结果输出。

AIcert 支持可视化的形式化理论验证 

高效率、自动化的安全开发：AIcert支持高效率、自动化的安全开发技术，从源头上保障人工智能系统的安全。平台集成AI模型模块化开发功能、开发框架安全度量、开发环境分析等功能。如下图所示，AIcert从数据处理、模型构建、运行环境安全检测等环节保障开发过程安全，AI系统模块化开发功能基于组件式系统建模实现了安全开发环境的自动化配置。

 AIcert 安全开发流程示意图 

 AIcert平台对ResNet系列系统量化评分  

现有的AI系统评测系统大多局限于数据与模型安全层面。相较其他SOTA AI安全评测平台，AIcert解决了从数据到系统、从算法开发到系统部署的多层面全方位安全检测技术覆盖，实现了包括数据质量评估、算法安全验证、模型安全评测、框架安全度量、系统安全检测在内的五大核心层面的AI系统全栈安全评测体系与技术平台。

AIcert实现AI系统全栈安全评测体系

数据质量评估模块主要提供多模态智能数据的质量评估服务。目前已支持异常数据检测、公平性评估与提升功能。

模型安全评测模块为用户提供AI模型安全评估服务，如模型鲁棒性评估、模型公平性评估、攻击机理分析等功能。

卡车样本在攻击强度0.2时的模型安全性验证结果

上图展示了模型对卡车图片的可验证性输出结果，当攻击强度（即对原始图像的扰动大小）为0.2时，通过形式化模拟方法，AIcert平台随机生成扰动样本，验证模型的输出变化情况：模型输出卡车标签与其他标签的置信区间存在较大重叠，表明在当前扰动大小下，模型有较大概率将卡车图片错误地预测为其他标签。

框架安全度量为用户提供主流AI开发框架安全度量服务。用户选择所需度量的开发框架，平台基于多AI开发框架交叉验证等核心技术，给出开发框架安全度量报告，涵盖存在漏洞的开发框架、漏洞具体在模型的层级等可视化分析结果。平台提供的框架安全度量首个支持国产框架的AI开发框架安全度量功能，首次实现参数级别的漏洞精准定位与验证，支持PyTorch、TensorFlow、百度飞桨、CNTK、Theano等主流开发框架。

Pytorch、TensoFlow等框架开发团队已发布漏洞修复公告

目前，平台在这些AI开发框架上挖掘出数十个框架漏洞，其中7个已得到框架开发团队的确认与修复，如上图所示，Pytorch、TensorFlow等多个框架开发团队已确认修复了由AIcert平台挖掘出的漏洞，并发布公告。

系统安全检测为用户提供开发环境的安全分析服务，为AI系统提供漏洞检测和框架适配版本兼容性检测功能。平台基于开发环境分析技术，对系统架构信息、依赖库版本等关键信息进行分析，使用严格匹配、松散匹配以及兼容性分析等方法深入挖掘漏洞，预警操作系统节点上的安全威胁。基于多种开发框架适配方法，对用户指定版本的开发框架依赖与版本进行分析，判断当前环境是否可以适配该框架。平台给出开发环境分析和框架适配报告，涵盖检测到的操作系统漏洞和框架适配结果。

开发环境分析报告：报告表明系统存在3个CVE漏洞

上图展示了平台对Ubuntu20.04系统进行检测的结果，报告罗列了操作系统存在的多种CVE漏洞，同时给出当前系统与AI开发框架版本适配的结论。

AIcert平台全景

综上所述，AIcert平台的评测范围广泛，覆盖了数据、算法、模型、框架和系统等多个关键层面，可全面评估AI系统安全状况，显著提升传统AI系统的威胁监测、预警和响应能力。如平台全景图所示，AIcert围绕AI系统数据收集、模型训练、测试与防御以及落地部署各阶段核心技术，制定了人工智能全栈安全评测方案，可高效应对AI系统各层面安全威胁，适用于智轨交通、智慧医疗、智能安防、智能养老等人工智能场景，为这些领域的AI系统提供了坚实的安全保障。

AIcert平台已在淘宝网、杭州城市大脑、湖南四方天箭、山东计算中心（国家超级计算济南中心）和中车株洲所等8个企业中成功部署示范性应用，服务于千万级用户数据，取得了广泛的学术和产业界认可。这些部署不仅显著提升了人工智能安全技术在产业领域的安全性，也为监管机构提供了人工智能安全治理的典型范例。

AIcert平台在淘宝网应用情况

在淘宝网的直播电商平台上，出现虚假宣传、敏感话题和低俗内容的问题日益突出。淘宝网作为电商行业巨头对其风控算法提出了更高的监管标准，但又面临着图像数据、语音数据和结构化数据形态多元复杂和现有技术误检率高的挑战。为解决这些问题，如上图所示，AIcert平台提出了多模态内容风险感知技术和风控模型自监督训练技术，集成数据安全评估、模型安全评估、系统安全评估等功能，有效提升了实时风险评估和监管能力。目前，AIcert平台在淘宝网直播风控模型中的应用效果显著，非法图片分类准确率达到了85%，语音识别错误率降低了10%，商品类目预测准确率达到93%。

 AIcert平台在中车株洲所应用情况

中车株洲所广泛应用人工智能技术于列车无障碍检测、矿卡无人驾驶、智轨交通系统等领域，但面临着攻击数据获取困难、安全漏洞多样性和算法鲁棒性差等安全挑战。为了解决上述挑战，如上图所示，AIcert平台提出了轨道测试样本自动生成、轨道系统漏洞挖掘以及智轨算法鲁棒性测试等技术。平台运用旋转、模糊、加噪和动态符号生成等技术扩充物理样本库，并采用全栈安全分析和异构软硬件安全适配技术来发掘轨道系统漏洞。此外，平台还实施了智轨算法模型的对抗性鲁棒性测试和群智化安全防御策略，从而显著提高了模型的鲁棒性。目前，AIcert平台已经对所提出的解决方案进行了初步验证，并且正在加速推动这些技术在其业务流程中的实际部署和应用。

主流开源大模型及其参数

2022年以来，以GPT-4、Llama、PaLM 2等为代表的大模型席卷全球，这些大模型的发展已经深刻地影响了人类的生活和生产方式，例如在文段总结、回复邮件和机器翻译等方面的应用。大模型与传统模型的本质差异在于模型参数量、模型复杂度和模型容量。大模型具有更多的参数和更高的模型复杂度，因此可以处理更复杂的任务，具有更强的表示能力。然而，它们同时遭遇了前所未有的安全挑战。相较于传统人工智能算法，大模型安全维度更广泛，除了传统的人工智能内生安全之外，还涉及越狱风险、模型幻觉和提示语注入等使用安全问题。此外，大模型对异常数据的鲁棒性较弱，更容易受到输入数据中微小变化的影响。例如，提示词顺序或拼写的修改，或文本中的噪声添加，均可能引发模型输出错误或不稳定结果。这归因于模型可能过分依赖预训练数据，缺少对特定任务或领域的自适应能力。

大模型安全评测情况

随着人工智能技术逐渐应用到社会的各个领域，其安全性正受到前所未有的关注。在这个背景下，浙江大学区块链与数据安全全国重点实验室人工智能安全团队聚焦AI系统全栈安全，牵头研发了人工智能安全评测平台AIcert。AIcert平台对AI系统的数据、模型、算法、框架、系统等层面实现全栈安全评测，从鲁棒性、可用性、可解释性等六大维度对系统安全进行评估，并在此基础上实现基于群体智能的动态安全防御增强。AIcert平台作为一个综合性的解决方案，具备“理论验证”、“安全开发”、“多维分析”三重优势，有效地弥补了现有安全评估工具在面对复杂AI系统时的不足，显著提升了传统人工智能系统以及大模型人工智能系统的威胁监测、预警和响应能力，为AI安全领域的研究和应用提供一个坚实可靠的基础。

在下一阶段的工作中，团队将继续聚焦人工智能安全技术发展前沿，从平台维护、开源生态、产业应用等方面推动AI安全技术进步。AIcert平台将定期更新/加入新的安全功能，进行主流AI模型的安全性能评测以应对快速更新迭代的AI系统和层出不穷的新型AI攻击技术，协助构建适用于不同场景的AI安全评测工具，为开源AI模型提供可供参考的安全性能评测结果。与此同时，AIcert平台将积极参与开源生态建设，定期发AI安全技术分析报告与相应组件源码，举办相关AI安全评测教程、研讨会和各类竞赛，促进行业交流和技术创新，与开源社区共同推动人工智能安全测评开源工具、软件、平台以及技术标准的建设，为实现我国人工智能安全的自主可控贡献力量。进一步地，AIcert平台把“促进人工智能安全发展”、实现人工智能的“安全左移”作为长期目标，依托区块链与数据安全全重实验室这一国家科研力量平台，通过对主流模型的三方安全评测与AIcert平台的开源与工具化，扩大对产业界头部与中小厂商的影响力，推动将AI模型的安全研发与检测嵌入到开发流程的早期步骤，提高AI安全防护效率、降低风控与修复成本，实现人工智能安全技术为产业的赋能，为监管机构提供人工智能安全治理的典型示范应用。

开源生态系统不仅是推动人工智能领域持续发展的核心动力，对于激发技术共享与创新交流也具有不可或缺的作用。特别是在网络空间安全这一关键领域，开放的知识和技术资源可以极大地促进人工智能安全防护措施的更新和进步。基于这样的理念，团队将人工智能安全理论及验证平台AIcert的代码开源，供科研人员和开发者使用和参与改进。感兴趣的组织和个人可以通过下方提供的Gitee和GitHub开源地址访问和下载相关代码。