宫廷玉液酒查1450？但AI已经防不住了

对恶意影响、人工智能系统和网络威胁的研究，为利用机器学习技术强化信息战提供了一个良好的范本。在过去的四年里，科学家们推翻了关于个人如何应对新威胁的基本假设。专家、学者和政策制定者通常称其为“网络末日”假说，他们将即将到来的数字威胁描述为“近三十年来对民主社会具有独特的破坏潜力”。

公众先是会遇到前所未有的威胁场景（如2015年乌克兰电网瘫痪），然后开始惊慌失措。技术不安全感的每一次增强都会为恐惧、焦虑和非理性反应打开空间，这将远远大于传统威胁的影响（因为人工智能带来的威胁更难以预测）。

最近的研究表示，普通公众确实会以这种方式（恐惧、焦虑和非理性反应）来面对如人工智能强化信息战这类真正新颖的威胁，但这只是短期的。在人们逐渐熟悉数字技术之后，就能够对其破坏产生合理性的预期，这意味着，人工智能活动仅仅凭借其突然出现而颠覆社会的可能性不大。

然而，如果这样就认为民众对人工智能带来的影响做好了准备，并且能够降低（对人工智能破坏的）心理预期是不切实际的。研究表明，基于对人工智能系统的接触和对信息战的认识，人们对人工智能产生了一系列令人不安的心理反应。一方面很少有人能够长期接触人工智能；另一方面，即便想要对人工智能有所了解（其工作原理及应用），也需要大量的知识。在类似于邓-克鲁格效应的情况下，不少人会对人工智能产生自动化偏见，即对人工智能在各种活动中的效力过于自信。

令人担忧的是，将最近的研究结果与其他发现相结合，我们得出一个结论：过度接触“深度伪造”和其他影响活动会削弱普通公民的求知欲。当很难将事实和虚构分开时，人们就会忽视人工智能的本质。自动化偏见的出现加剧了这种倾向，它会增强人们对技术防御力（technologies' defensive potential）的信心，但会降低防御措施的质量阈值。

例如，另一项研究表明，当决策者面对一个有潜在问题的人工智能系统时，他们不会倾向于人类能够解决（因为他们更信任技术），无论人力投入有多广泛或有多明显的影响，这一结果都不会改变。这意味着只要涉及人力，大多数人都会重视人工智能带来的安全举措。

随着人工智能在网络空间的影响力越来越大，这种心理会带来非常大的风险。例如，很少有对人工智能足够了解的开发者，但市场的激励会让更多组织加快开发人工智能，最终形成各种半成品，这些半成品对组织安全乃至国家安全的破坏力更大。

仅仅依靠现有的防御工具及措施很难防范人工智能带来的风险。与此同时，转向内容验证的混合方法来有效对抗信息战意味着巨大的成本。就像对任何此类产品的需求（即不一定是最好的版本）飙升一样，并激发了便利性而非最佳实践。

人工智能使得信息战防御变得更具挑战性，但受市场影响，厂商可能更倾向于快捷的产品而非有效的解决方案，这将会导致政府部门继续推动以网络战为中心的战略部署。

首先，从国家安全角度来看，人工智能的使用将会带来一个副作用，那就是网络空间成为干扰人工智能系统和注入人工智能创建内容（代码、虚假信息等）的中心途径。因此，攻击性网络活动持续增加几乎是不可避免的，这也使得利用人工智能防御打击相关恶意活动变得越来越紧迫。另一方面，可能需要继续强调国家网络任务，在西方，国家网络任务更多地集中在网络效应行动上，而不是国家信息环境的弹性。

政府对防范信息战的选择源于业内针对恶意活动检测能力的不足。学术界和其他研究人员认为，将有组织的恶意活动与正常的社交媒体活动简单区分存在争议（参考1450网军）。此外，受制于恶意活动的隐蔽性，有组织意味着更大的挑战。因此，站在社交媒体的个人账户或小型账户层面进行识别，似乎不足以阻止大规模外国支持的信息战。

其次，大型社交媒体平台上的影响力活动在输入向量（例如，机器人与人类控制的账户）或持续性水平（例如，与正常平台用户互动的节奏或风格）等方面都不一致，这将导致国外支持的信息战特别难以处理，就像极端主义言论一样。

当信息战的操作员试图建立网络以产生和扩大影响力时，许多活动特别是人类控制的行动，都采取了正常的聊天形式（参考乌克兰橙色革命）。最近的非俄罗斯信息战活动尤其如此，包括沙特阿拉伯、伊朗威胁行为者等活动，他们似乎将干涉视为一种自然的低强度永久接触形式。

人们只需要与ChatGPT聊几分钟就可以知道，随着人工智能强化信息战以及新的网络运动的出现，这种动态将继续下去的可能性非常大，并且可能会促使决策者倾向于采取更具惩罚性的威慑措施（例如中国大陆禁用ChatPGT）。如果发生这种情况，那么人工智能形成的恶意政治干预可能会在未来十年内发生。

当下，社交媒体的把关属性持续降低，其对账号身份的监测能力正在持续丧失，在面对有组织、有预谋的国外恶意行为时，绝大多数用户及管理者是很难发现的，但其造成的破坏力往往是潜移默化的（参考微博上的公知群体）。

显然，对抗人工智能增强的网络和影响力活动需要更强大的检测能力。此前，中国网民检测1450有各种各样有趣的方法，例如问“宫廷玉液酒”的下一句，或是让其歌唱《义勇军进行曲》。这种检测手段对以人为主的恶意行为姑且称得上有效，但在面对以人工智能为主的恶意行为时，成功率几近于0。

此外，社交媒体通常会以人机检测的方式来应对上述行为，但大部分检测和分析手段必须发生在活动之后（即用户发布了不正当言论），这对恶意行为者来说毫无威胁。另外，这种方式通常很难推广，特别是恶意信息战操纵者会使用不同的参与载体，例如在不同平台、不同IP发布等。

那么，如何才能更好地检测信息战从而取得成效呢？从人工智能增强影响力活动中发现，虽然LLM在快速匹配输入和输出方面做得更好，但这些信息在人工智能生成时很难被检测。因此，需要与熟练的人力相结合才能从人工智能系统中获得最佳效果。有组织的信息战群体是恶意内容生成的基础，因此仍然可以通过映射（例如检测敏感IP等方式）来提供新的检测能力。

考虑到消费者和政府可能会以特殊的方式对人工智能强化信息战的威胁做出反应，科技公司和其他供应商可能会面临更大的阻力。应对恶意影响威胁的责任可能是混合的，消费者既担心侵入性内容，也同情技术供应商难以跟上。

上海非夕机器人科技有限公司CISO&DPO刘歆轶表示，从信息安全角度来看，组织在考虑或应用AI时，应该提前做好以下准备：

“当代世界”杂志作者李峥表示，人工智能对国家安全带来的挑战主要体现在三个层面：一是技术滥用风险。作为一项技术，人工智能并不能甄别、判断使用者的身份和意图，这使得该技术也可能被犯罪分子、网络黑客或恐怖分子使用。这些恶意行为将危及民众的生命和财产安全。

二是技术竞争风险。人工智能存在着技术水平优劣的差异，先进技术对落后技术具有显著优势，甚至可能在战场或产业竞争中产生决定性的作用。因此，各国都不希望本国在人工智能的国际竞赛中处于下风。人工智能技术发展所依托的数据、算法、人才成为各国国力竞争的新焦点，并随之引发出一系列的国际政治问题。

三是民众生活方式和劳动方式的挑战。人工智能在个别领域达到了“超越人类”的能力，但其整体发展仍处于雏形阶段，无法是实时应对复杂的环境。然而，随着算法的演进，人工智能的进步不但不会停止或倒退，反而可能在越来越多的领域起到替代人类的角色。一旦“强人工智智能”出现，将对人类社会带来革命性的影响。解释，民众生活和劳动所依赖的法律、道德和伦理体系都会受到巨大冲击。

知乎答主“魔都悟道AI”表示，AI的发展为许多领域带来了巨大的潜力和便利，但同时也伴随着一些潜在的安全隐患。以下是一些可能的安全隐患：

为了应对这些安全隐患，研究人员、企业和政府需要共同努力，制定相应的政策和技术规范，确保AI技术的可持续发展和应用安全。

当下，所有安全从业者都必须意识到，在试图将防御模式不断发展的过程中，可变性是存在的，对于用户而言同样如此。但对于国家来说，恶意的信息战是社会层面的威胁，只有开放和合作才能维持进步的途径。