国内外AI安全分析

国内的安全厂商目前没有一家正常的，我说的正常是指有预训练的，正儿八经的采集了很多和安全相关的数据来做的，拥有正儿八经的安全研究团队的。

国外的LLM安全公司很多，大部分都是在研究jailbreak，因为比如anthropic，gpt之类的不允许做一些违反人类价值观的事情，这些事情可能会导致作恶，但是这个其实也滋生了新的一个问题，就是不对等机会的霸权的可能性，比如 anthropic自己用未处理过的LLM，给别人用加固过后的，使用的人不平等。

LLM安全的机会还是主要在越狱上，LLM infra的安全属于传统的应用安全范畴，比如一些推理框架vllm，ollama，langchain，llamaindex等。应用安全嘛，传统安全你看赚钱嘛？所以llm infra并不会有新的赚钱机会。

国外的比较牛逼的几个公司，一个Gray Swan，一个good fire， 一个haize

目前最强的应该就是这个gray swan，这个公司目前的LLM没有被越狱。

他们最近搞了一个越狱大赛，1个越狱4k 美元，越狱越多赏金越多。

这些安全模型的主要功能是：
1.指令劫持的处理

2.内容安全

3.幻觉和完全不符合科学的结果

所以国内对标的话，主要对标grayswan就行了。但是要解决一个问题，本地部署，grayswan的LLM是saas的。他们使用的是基于llama3.1-8b-instrution做的。

小模型速度快，比如用了量化、底层的推理异步等优化的话可以更快，比如groq的推理8b速度可以超过1000tokens/s，这个速度太快了。

如果拿模型做安全检测，仅仅给出内容安全判断(true/false)的话，1瞬间就完成了，0.01秒，这样的话可以在ai架构中并行使用。

要跟上它的话你必须要看他们最新的研究和文章，当然核心的 肯定不会告诉你的啦。不过跟上先。

国内的话大部分公司因为商业模式的问题，都大部分先上公开的数据集来测试，测到一个算一个。

国内的PPT写的很棒。实际。。。。。哎，所以PPT模板能不能发我一份

原文始发于微信公众号（xsser的博客）：国内外AI安全分析