ChatPGT一周年，安全发生了哪些变化？

实际上，三星的处理方式恰到好处。商业秘密泄露是一个重大失误，在没有找到更合理的办法之前，禁止使用是一个非常好的方式。这可以避免进一步泄露，也能预备充足的时间发展内部能力，以确保商业机密的保密性。当人工智能引擎被大众所利用时，“风险之河”就产生了新的源头：人工智能查询引擎，与此同时，影子 IT 有了一个新的兄弟姐妹--影子人工智能。

Wiz 公司数据和威胁研究总监 Alon Schindel 认为，影子人工智能的到来并不令人意外，他认为这就像五到十年前的云计算，每个人都在一定程度上使用它，但很少有人有一套流程来管理它。

Schindel表示，在创新竞赛中，开发人员和数据科学家往往会在安全团队没有监督的情况下将新的人工智能服务引入他们的环境，从而无意中创造出影子人工智能。由于缺乏可见性，很难确保人工智能通道的安全性，也很难防范人工智能的错误配置和漏洞。不当的人工智能安全控制会导致严重的风险，因此将安全嵌入人工智能通道的每个部分至关重要。这也是人工智能下的安全左移，作为新的技术工具，如何围绕该技术制定相应的管理流程，如何保障新技术的安全性等等都是必要的准备工作。

生成式AI带来的最大威胁是什么？此前，包括意大利在内的部分国家要求禁用ChatGPT，马斯克等多个企业家及科技人士联名要求抵制生成式AI的发展。然而这些抵制并没有削弱生成式AI的发展速度，包括Google、微软、英伟达、百度、华为、阿里巴巴等企业推出的大模型纷纷上市，“炼大模型”成为今年的主旋律。

基于大模型的人工智能工具的确强大，但大模型意味着数据的交互。此前，因描述有误，WPS的AI登上了热搜。在其产品的隐私政策中，WPS提到会将用户主动上传的文档用与训练人工智能，这可能会导致用户的隐私信息泄露，甚至会涉及到企业的商业机密。因此，使用者需要知道哪些数据适合放入ChatGPT，哪些不适合。对此，安全团队需要对组织发送到ChatGPT的数据有适当的可见性。

对此，Imperva 数据安全高级副总裁兼现场首席技术官 Terry Ray表示，针对影子人工智能的看法，每个实体企业都应该做的三个关键要点：

Skyhigh Security 公司全球云威胁主管Rodman Ramezanian 也指出了了解自身风险承受能力的重要性。他提醒说，那些没有注意到大型语言模型（LLM）以惊人速度蔓延的人将会大吃一惊。

他认为，仅有最基础的防护是不够的；必须对用户进行培训和指导，让他们知道如何使用经批准的人工智能实例，避免使用未经批准的实例，而且这种培训/指导应动态、渐进地提供。这样做可以逐步改善整体安全状况。

负责保护公司数据（无论是知识产权、客户信息、财务预测、市场推广计划等）的CISO们，可以选择拥抱人工智能，也可以选择追逐人工智能。如果选择前者，今后的工作会很繁重，因为这需要在整个企业内开展工作，并确定哪些工作可以像三星正在做的那样引入企业内部。如果选择后者，就需要为事件响应的上升做好准备。

识别和降低使用人工智能工具的潜在风险的方法是，让企业内的各个实体充分参与进来，为企业运营的方方面面制定政策和程序，以及使用人工智能的途径。其次，需要创建并实施员工/承包商教育和实际演练。CISO们及企业高层需要在背后提供支持，识别安全漏洞，并提出减少可能出现的安全漏洞的路径，并为那些自由飞行的安全漏洞系上安全带。

对此，Ray表示，CISO们可以尝试招聘或培训生成式AI领域的员工，要求其能够使用现有的工具并建立自己的工具，利用人工智能来帮助完善这些工具。人工智能是一种力量倍增器，应该好好利用它的优势。但在接受这一概念的同时，还必须接受人工智能认证、政策和程序，最重要的是对人工智能的使用地点和方式保持警惕。企业还必须要了解和守护自身的数字资产，保障数据安全。

这一切的选择权都在CISO及企业高层手中，可以参考三星严加防范，直接禁用聊天机器人，也可以建立完善的管理策略，采取正确的措施防止影子AI的产生。但无论如何选择，拥抱生成式AI已经是大势所趋，对此，CISO应该建立必要的渠道来让数据和AI在安全的范围里流动。

对于生成式AI对企业安全的影响，某跨国企业首席安全官赵锐表示，ChatGPT上市一周年以来，生成式AI为安全工作带来的变化有收益也有风险。

1、垃圾邮件和恶意邮件过滤：生成式AI可以用于识别和过滤垃圾邮件、钓鱼邮件和包含其他恶意内容的邮件。通过分析大量的已知垃圾邮件和恶意信息，ChatGPT可以学习并预测可能出现的安全风险，提前做好网络安全防护准备。

2、舆情监测：生成式AI可以用于分析社交媒体的视频、文章中的内容倾向，并监测公众对特定话题或事件的反应。这有助于政府机构、组织和企业更好地了解公众舆论，及时发现和解决与安全相关的问题。

3、恶意内容和垃圾评论过滤：许多在线平台、社交媒体都要处理发布和回复的恶意评论、仇恨言论的挑战。生成式AI可以用于自动识别并过滤这些内容，从而保护用户免受恶意攻击。

4、安全漏洞检测：生成式AI可以在软件和系统中发现潜在的安全漏洞。通过分析代码和系统配置，ChatGPT可以检测出可能导致安全风险的问题，并帮助开发人员和安全专家更好地保护软件和系统。

1、上述收益也可以被攻击者使用，提升其攻击能力和手段。

2、误导性信息：ChatGPT可以生成逼真的虚假信息，包括错误的事实、误导性观点或伪科学理论。这可能导致用户相信不正确的信息，从而影响他们的决策和行为，例如：利用亲属的照片生成视频进行诈骗。

3、仇恨言论和不当内容：如果没有适当的过滤和监控机制，ChatGPT可能会生成包含仇恨言论、种族歧视、暴力或其他不当内容的回答。这可能对社会造成负面影响，并激化现有的社会问题。

4、隐私问题：ChatGPT是通过大规模的数据训练而来，其中可能包含用户的个人数据。如果没有妥善的隐私保护措施，使用ChatGPT时可能会泄露用户的敏感信息。4. 操纵和滥用：生成式AI模型可以被滥用来产生误导性政治宣传、舆论操纵或其他恶意目的。这可能对选举、舆论形成和社会稳定性产生负面影响。

5、缺乏责任和道德：由于ChatGPT只是在数据中学习，并没有自主的意识和道德判断力，因此它可能在人类价值观或伦理标准上产生偏差。这可能导致模型生成不恰当、冒犯性或不道德的内容。

在使用生成式AI时，需要注意其两面性，制定严格的准则和保护措施，以确保其正确、透明和负责任地按预期生成我们想要的结果。

某安全从业者表示，生成式AI带来了很多变化，在工作方面，我们可以通过GPT做一些日志分析工作，帮助我们写一些文档。但是也增加了新的安全风险，例如我现在就在考虑如何审计AIGC的安全性问题。

某电商科技公司安全管理杨文斌表示，大模型在大数据分析方面对情报的精准度提高明显，提升了安全运营人员分析预警的应急效率，对提升企业安全能力效果显著。

目前，国内已经出台了《生成式人工智能服务安全基本要求》（征求意见稿），这是国内首个专门面向生成式AI安全领域的规范意见稿。这意味着生成式AI的开发、使用及管理即将出现最佳实践，对于苦于如何管理及审计AI的企业来说，希望即将来临。希望我们能够用好这把双刃剑，让AI更好地服务于大众。