周末时候OWASP2024年度安全技术论坛我们提到了人工智能和安全职位，在这里我们将展开聊一聊：

2025 年及以后，人工智能将继续主导网络安全相关新闻，你可以接受并适应或者被淘汰！

    传统的网络安全角色，例如渗透测试员和风险管理人员，正在扩大到包括特定于人工智能系统的职责。

与此同时，人工智能治理官和人工智能风险经理等新职位正在被创建，以应对人工智能带来的道德、监管和运营挑战。

在本文中，我想分解这些角色，并（希望）让您了解在人工智能时代蓬勃发展所需的技能。

哪些角色正在发生变化？

1 — 渗透测试人员到人工智能渗透测试人员

渗透测试人员传统上专注于寻找网络、应用程序和系统中的漏洞。

然而，随着人工智能的发展，现在需要人工智能渗透测试人员专门测试人工智能模型和系统的安全漏洞。

这些专业人员必须了解对抗性机器学习技术以及攻击者如何操纵人工智能算法。

他们致力于揭露人工智能系统中的弱点，例如易受提示注入、对抗性攻击、数据中毒和模型反转的影响。

AI渗透测试员的主要职责包括：

• 对人工智能模型进行对抗性测试以模拟潜在的攻击。

• 在生产环境中测试基于人工智能的防御。

• 确保人工智能系统满足与传统应用程序相同的安全标准。

• 与数据科学家和其他团队合作，增强模型抵御操纵的鲁棒性。

2 — IT 风险经理转为 AI 风险经理

传统的网络安全风险管理者评估与 IT 基础设施、数据安全和合规性相关的风险。

随着人工智能的融入，更加专业的人工智能风险经理角色正在涌现。

人工智能风险管理者评估人工智能系统特有的风险，例如算法偏差、数据质量问题和模型漂移。

这些专业人员必须具备人工智能和网络安全方面的专业知识，因为他们会评估人工智能系统中的潜在漏洞并建立保护措施来缓解这些漏洞。

人工智能风险经理的主要职责包括：

• 使用 NIST AI 风险管理框架等框架识别和评估 AI 特定风险。

• 制定适合人工智能模型的风险缓解策略。

• 提供有关人工智能系统风险态势的报告。

• 确保人工智能系统与组织风险管理框架保持一致。

3 — 数据科学家转为人工智能安全数据科学家

数据科学家在训练人工智能模型中发挥着至关重要的作用，通常注重准确性和性能。

然而，在网络安全的人工智能时代，人工智能安全数据科学家的任务是将安全考虑因素直接融入模型开发中。

这些专业人员与网络安全团队密切合作，以确保模型不仅有效，而且还能抵御对手的操纵和利用。

人工智能安全数据科学家的职责包括：

• 设计具有内置安全功能的人工智能模型以防止操纵。

• 与网络安全团队合作以了解潜在的威胁载体。

• 分析数据管道以防止未经授权的数据访问。

• 在模型训练中实施隐私保护技术。

人工智能时代的网络安全新角色

1 — AI治理官

随着人工智能越来越接近敏感的商业数据，企业越来越意识到与人工智能部署相关的道德和监管考虑。

人工智能治理官确保人工智能驱动的系统符合道德标准、监管框架和内部政策。

该角色涉及制定治理框架和执行政策，监督组织内负责任和合乎道德地使用人工智能。

职责包括：

• 制定和实施人工智能治理框架和政策。

• 确保人工智能实践符合道德准则和监管标准。

• 对人工智能系统进行定期审核以确认合规性。

• 与法律、合规和道德团队合作，以减轻与人工智能相关的风险。

2 — 人工智能伦理官

人工智能伦理官负责解决人工智能系统的道德和伦理问题，例如算法偏见、公平性和透明度。

该角色涉及审查人工智能如何影响决策并确保人工智能实施符合道德标准。

它们致力于保护用户免受偏见算法或人工智能模型产生的不公平结果所造成的潜在伤害。

人工智能伦理官的核心职责包括：

• 审查人工智能模型的偏见、透明度和公平性。

• 与数据科学家合作，识别并减轻道德问题。

• 教育组织利益相关者了解人工智能的伦理影响。

• 制定在网络安全运营中合乎道德地使用人工智能的指南。

3 — AI合规专家

根据欧盟人工智能法案等法规，组织需要专门的人工智能合规专家来确保其人工智能驱动的系统符合法律标准。

该角色专注于人工智能的监管方面，确保在每次人工智能实施中都维护数据隐私、同意和透明度。

主要职责包括：

• 评估人工智能系统是否遵守数据隐私和安全法规。

• 监测新兴的人工智能法规并根据需要更新政策。

• 对基于人工智能的工具和流程进行合规性审计。

• 对团队进行有关人工智能的合规性要求和最佳实践的培训。

4 — AI 安全专家

认为人工智能安全专家与网络安全分析师类似

这些专业人员擅长利用操作 AI 模型识别和降低风险。

这些专家专注于保护人工智能系统免受对抗性攻击，攻击者操纵人工智能算法来实现恶意目标。

例如，攻击者可能会欺骗人工智能欺诈检测系统，将欺诈交易归类为合法交易。

人工智能政策策略师的核心职责包括：

• 对人工智能模型进行风险评估。

• 开发和实施特定于人工智能系统的安全协议。

• 理解并减轻对抗性攻击。

• 与数据科学家合作，确保人工智能训练中使用的数据集的安全性和隐私。

为这些不断演变和出现的角色做好准备

为了应对人工智能时代网络安全领域的新兴角色，专业人员应专注于在人工智能、机器学习和网络安全基础方面打下坚实的基础。

对于那些希望担任这些新职位的人来说，对抗性机器学习、道德人工智能实践和人工智能模型治理方面的专门培训至关重要。

1——人工智能和机器学习知识

必须对人工智能和机器学习有基本的了解。

这个时代的网络安全专业人员必须了解人工智能的算法，以及如何训练、测试和部署机器学习模型。

现在已经有网络安全人工智能和机器学习课程（包括我在 Udemy 上的课程！），许多大学和培训中心也提供专门的课程，让网络安全专业人员掌握这些技能。

2 — 数据科学与分析

数据科学对于分析现代安全系统产生的大量数据至关重要。

数据分析、模式识别和数据驱动决策的技能现在与传统的网络安全技能一样重要。

熟悉 Python、R 和 SQL 等数据分析工具以及数据可视化平台将使专业人士在这个时代占据优势。

3——对抗性思维和威胁建模

人工智能时代的网络安全需要采取主动的方法。专业人员必须学会像攻击者一样思考，以预测人工智能系统可能如何被利用。

威胁建模、红队和对抗性机器学习方面的技能对于在攻击者利用漏洞之前识别人工智能模型中的漏洞至关重要。

4 — 人工智能伦理与合规知识

随着人们对人工智能伦理、偏见和数据隐私的担忧日益增加，专业人士必须了解人工智能使用的法律和道德影响。了解欧盟人工智能法案、GDPR 和 CCPA 等框架将有助于确保人工智能驱动的网络安全实践符合监管标准和道德原则

5 - 了解云安全和人工智能基础设施

由于许多 AI 模型都在云平台上运行，因此了解云安全至关重要。了解云安全最佳实践、熟悉 AWS、Azure 或 Google Cloud 等云平台以及了解如何在云环境中保护 AI 工作负载是使用 AI 系统的网络安全专业人员的关键技能。

原文始发于微信公众号（KK安全说）：人工智能时代可能的网络安全职业