AI安全新思路｜一个集LLM安全和隐私于一体的一站式平台

HydroX AI是LLM安全领域的初创公司，最近宣布完成了由Vitalbridge Capital领投、Atom Capital和Miracleplus参投的400万美元天使轮融资。HydroX AI成立于2023年2月，由深耕于硅谷安全行业的世界级专家和黑客创办，致力于构建一个面向LLM时代的AI安全和隐私保护的一体化平台。

LLM的出现带来了颠覆性的创新，同时也带来了新的风险和挑战，这些成为了AI实际应用的障碍。与此同时，这个时代也为新一代安全公司的崛起提供了重要机遇。我们相信，LLM时代有可能孕育出AI安全领域的新巨头，而HydroX AI在这方面是一家有前景的初创公司。

我们最近与HydroX AI的首席执行官ZL进行了一次深入的访谈，讨论了他在LLM安全领域看到的机遇，他对LLM安全和隐私保护的看法，并分享了我们对HydroX AI的投资理由。

嘉宾介绍

ZL：HydroX AI的创始人，具有丰富的安全和基础设施经验。曾任字节跳动集团全球隐私和数据保护负责人，以及Facebook隐私基础设施负责人。

LLM安全——安全领域的新蓝海

Atom：你能介绍一下你的背景和团队的背景吗？另外，请分享一下是什么促使你决定开始这个创业项目？

ZL: 我先简要介绍一下我自己和我们的团队。我在安全行业工作已经超过十年，主要专注于安全和基础设施领域。我之前在字节跳动集团担任全球隐私和数据保护负责人，负责维护全球隐私标准和数据保护政策。在此之前，我在Facebook担任隐私基础设施负责人，专注于构建和优化与隐私相关的基础设施，为数亿用户提供安全可靠的在线体验。通过在这两家领先科技公司的经验，我积累了安全、隐私和数据保护的最佳实践，使我能够深入理解和解决安全和基础设施领域的各种挑战。

我们的团队成员都是经验丰富的专家，拥有15年以上的经验，来自安全、人工智能、工程和销售等不同背景。我们的总部位于硅谷，专注于美国市场。LLM时代的到来确实给我们带来了许多令人兴奋的机会，尤其是在安全领域。目前，LLM仍处于非常早期的阶段，大部分关注和精力都集中在性能和功能上。对LLM安全的关注相对较弱，可能会导致新的安全问题，如新型攻击、风险、隐私泄露和数据泄露。虽然行业专家已经开始提高对此的意识，但对这个领域的探索才刚刚开始。

我们认为解决大型模型中的安全问题至关重要。技术越强大，拥有适当的安全保障就越重要。否则，技术的强大将带来更大的风险。因此，为LLMs提供安全解决方案是人工智能领域最迫切的需求之一。然而，由于该行业处于起步阶段，市场上还没有成熟的解决方案，使其成为几乎空白的蓝海市场。

我们团队决定深入研究这个领域——我们在人工智能、安全和工程领域的多年跨学科经验与LLM安全这个具有挑战性的新领域完美契合。同时，早期进入市场为我们带来了重要的先发优势。我们有机会与关键行业参与者（如领先的大型模型制造商）合作，定义许多尚未定义的概念，参与并引领相关安全标准的制定，并有可能塑造这个行业的未来。对我来说，这是一项具有挑战性和乐趣的努力，也是吸引我从事创业的核心原因。

LLM时代的安全特点、机遇和挑战

Atom：你认为在大模型时代，安全领域的新特点、机遇和挑战是什么？

ZL: 正如前面提到的，这个领域最显著的特点是非常新且不成熟。目前还没有标准，大多数人对大型模型中的安全性的理解仍处于非常早期阶段。

展望未来，我相信几个核心驱动因素将引导大型模型安全的发展：

• 事件驱动：在有重大安全事件发生后，对这个领域的关注和需求将逐渐增加。

• 监管驱动：由于大型模型的安全问题涉及到所有用户的利益，因此已成为公众关注的焦点。全球各国政府，如美国、欧盟和中国，正在加强关于人工智能的立法和监管。核心关注点集中在安全和隐私保护方面。随着这些新的监管政策出台，企业将面临众多新的合规要求，从而形成了一个全新的“合规”市场。

• PR驱动：随着用户对大型模型安全重要性的认识不断增强，安全将成为所有涉及大型模型的企业的核心竞争要素之一。公司将在外部沟通中强调其安全性，进一步推动大型模型安全市场的快速发展。

在这个阶段，所有这些驱动因素仍处于非常早期的阶段。我相信在接下来的6-12个月里，最重要的事情将是建立意识。如何更有效、更快地建立意识呢？我们认为评估是一个很好的方式——在问题出现之前，通过评估可以预警制造商潜在的安全漏洞、可能的未来问题以及不解决这些问题的后果。评估可以帮助具体化和可视化大型模型的安全问题，将它们呈现给从业者和用户，加速行业意识的建立。

这是我们在LLM安全领域看到的机会 - 一个需求驱动的市场，供应稀缺且快速增长。在这个行业的早期阶段，我们有机会引领并建立对LLM安全的认知和共识，成为制定标准的关键领导者和贡献者。占据LLM安全品牌认知，我们可以陪伴这个行业从早期的荒野发展到成熟，分享这个快速发展的新兴行业的红利。

关于HydroX AI

Atom: 你能介绍一下HydroX AI的产品和服务吗？

ZL: AI安全目前处于行业发展的早期阶段，相对缺乏成熟的问题检测能力。HydroX AI以LLM安全和安全评估为起点，致力于提供完整的一站式平台解决方案。我们旨在通过自动化的检测、防御和监控，帮助AI公司系统地提升能力，加速业务的安全迭代和实施。

提示注入是人工智能安全领域早期关注的问题，它具有相对较高的风险。今年初，HydroX AI提供了一个提示注入验证平台，帮助人们了解这些问题，并提供了初步的检测能力来发现和减轻这些问题。这是HydroX最早的尝试之一。

最近，我们刚刚发布了LLM（语言模型）的安全评估的第一个版本。这是行业内首次对知名LLM进行相对全面的细粒度评估。虽然这只是第一个版本，我们仍有许多评估方面尚未成熟和发布。然而，从这次评估中，您已经可以看到一些明显的问题。未来，我们将从问题发现的角度出发，基于真实问题提供必要的防御和监控能力，并逐步完善我们的产品组合。

在这里，我们可以分享一些来自这次评估的有趣发现：

• 只有两个LLM在安全性和保护方面都取得了完美的分数，它们分别是GPT-4和Inflection AI。

• LLMs在安全性方面表现良好，但在对抗性安全方面相对较差。

• 对于安全方面来说，错误信息是最大的问题，而对于对抗性安全来说，伪装是最大的问题。

• 虽然GPT-4和Inflection AI获得了满分，但紧随其后的是三个非美国市场的大型模型。然而，最后两个大型模型表现不佳，明显落后。其中一个来自美国，另一个来自非美国市场。

• 注意：这里的安全性指的是安全攻击和防御，而安全性则包括大型模型的对齐性、可解释性和鲁棒性。

HydroX在九月发布的LLM安全评估报告。（https://stg-www.hydrox.ai/）

Atom: 请谈谈关于HydroX AI的愿景和长期计划。

ZL: HydroX AI的愿景是“加速AI安全，构建安全AI”。从长远来看，我们希望成为行业领先的大型模型安全公司，帮助所有大型模型变得安全合规。此外，我们计划在未来推出自己的安全模型，使每个人都能够在任务中使用大型模型，而不必担心安全或隐私问题。

Atom: 是否能分享一下HydroX AI最近的发展情况？你们目前正在做什么？

ZL: 我们已经对全球所有公开可用的开源和可访问的闭源大型模型进行了系统的人工智能安全评估。根据这些评估，我们生成了详细的风险报告、数据仪表盘，并正在准备相关论文。我们将很快发布第一个版本的评估结果和风险报告，重点关注文本到文本模型。在随后的更新中，我们计划扩展安全评估范围，涵盖图像、视频和代码生成。

除了评估之外，我们还将为确定的安全风险提供防御工具。正如我之前提到的，LLM安全领域的首要任务是提高意识，评估和风险报告是实现这一目标的绝佳手段。

作为一个AI原生团队，我们也在探索如何基于AI构建新的产品和技术架构。一个有趣的方向是AI的自我对抗学习，即AI模型通过竞争不断改进其安全防御能力（攻击模型不断搜索新的安全漏洞，而防御模型则根据这些快速演变的攻击升级其保护能力）。在我们即将发布的安全评估和风险报告中，我们已经开始尝试这种自我对抗的方法。

AI安全领域的市场格局将如何发展？

Atom：您如何看待AI安全领域的未来市场格局，比如市场规模、增长潜力、竞争以及垄断的可能性？

ZL: 我们在内部进行了详细的市场细分评估，并估计了LLM安全领域的潜在市场规模约为100亿美元（不包括传统的人工智能安全领域）。考虑到市场仍处于早期阶段，我相信该市场的复合增长率将超过50%，并且在行业和用户意识确立后将进入爆发增长期。

关于市场竞争，我首先想讨论竞争格局。目前，在这个领域有两个主要类别的竞争对手。一类是像Fortinet和Palo Alto Networks这样的传统安全公司，另一类是像我们这样的初创公司。对于前者来说，LLM安全是与传统网络安全完全不同的领域。如果传统安全公司想要进入这个领域，实际上他们必须开始一项新的冒险，所以从业务角度来看，每个人的起点都是相似的。从这个角度来看，我们可以将这个市场上的所有竞争对手都视为新的初创公司。在这样一个竞争激烈的环境中，获得竞争优势的关键在于团队的专业素养、业务推进的速度，以及与行业最重要的客户快速合作，共同影响行业意识、达成共识，甚至参与行业标准的制定，并与行业一起成长。在这方面，我对我们的团队和目前业务的进展速度非常有信心。我们已经与全球几家领先的LLM制造商建立了深入合作，共同解决LLM安全问题。

现在，让我们来谈谈市场结构的长期观点。我个人认为，在过去，安全领域是一个多方参与的市场，拥有20%的市场份额被认为是重要的。然而，随着人工智能时代的到来，这种市场结构可能会被打破，我们可能会看到人工智能安全领域出现垄断巨头。过去安全领域多方参与的核心原因是人类效率的限制。这导致许多安全公司只开发一两个专业产品，无法满足客户多样化的安全产品需求。然而，LLM（大型语言模型）带来的效率提升有可能打破这种限制。我们现在观察到，LLM在某些情况下可以将效率提高十倍甚至百倍，尤其是对于具有强大人工智能能力的高级程序员来说。这种提升可以显著打破效率和资源分配的瓶颈。一旦这个瓶颈被打破，市场上就有可能出现垄断巨头。

Atom：从长远来看，你认为HydroX AI将建立哪些护城河和竞争壁垒？

ZL: 我相信护城河主要来自以下几个方面：

• LLM安全领域的专业知识：LLM安全作为一个新兴的前沿领域，目前缺乏相关专业知识的团队。我们的团队在人工智能、安全和工程领域积累了多年的经验。这使得我们能够高效地将这些领域结合起来，并迅速转入LLM安全领域。

• 经验丰富的团队：我们是一个在硅谷成立的国际团队，聚集了在安全、人工智能和工程领域拥有丰富经验的世界级专家。我们团队的几位成员是世界顶级的黑客之一，每个团队成员在安全领域拥有超过15年的经验。我们团队的国际背景、丰富经验以及对人工智能、安全和工程等多个领域的全面理解，使我们成为大型模型安全领域最合适的创业团队之一。

• 技术：作为AI时代的本土初创企业，HydroX AI旨在最大化利用AI能力。我们提供由AI驱动的高度自动化解决方案。一切都由机器支持，最大限度地减少人为干预。所有的经验、检测和解决方案都被存储并在各种场景中重复使用，使我们的产品能够快速自我迭代和演化。

• 顶级基准客户：目前，我们与大型模型领域的各个领先公司展开了深度合作，帮助这些公司检测、警示和防御与大型模型相关的安全问题。此外，我们积极参与行业共识建设和某些行业标准的制定。这些大型模型领域的顶级客户是市场上的关键参与者，我们与他们的合作是我们建立的重要商业优势之一。

与Atom合作

Atom: 我们很高兴成为初轮投资者。你能分享一下为什么选择Atom Capital吗？

ZL: 我相信一个好的投资者应该对所投领域有深入的了解，并愿意通过提供资源和支持来帮助项目，而不仅仅是提供资金。这就是我认为的理想投资者。与我互动过的许多投资机构相比，Atom采取了非常实际的方法。你们对人工智能有着深刻的见解，并愿意花时间与初创企业坐下来讨论业务，介绍资源并提供帮助。这是许多组织难以主动做到或实现的事情。这些资源、支持和与业务相关的讨论对我们非常有帮助。我们很高兴有像Atom这样的早期投资者陪伴我们的成长之旅。

为什么我们投资于HydroX AI

随着LLM的快速发展，其安全问题变得越来越重要。LLM拥有广泛的受众、多样化的用例和与用户的深入互动，超越了互联网时代的任何产品。这不仅展示了人工智能的重要影响力，也意味着如果人工智能遇到安全问题，其连锁反应将难以预测，并可能产生灾难性后果。这意味着与大型模型安全相关的解决方案将成为一个强烈的市场需求，既来自监管立法行动，也来自公司的真实业务需求。因此，LLM安全，包括校准、对抗性安全和隐私保护，一直是我们作为投资方向的重点（https://medium.com/@atomcapital/security-of-llm-alignment-privacy-6becddda3ea1）。我们相信，随着人工智能技术的快速发展，将出现一个新的LLM安全市场，并将孕育出人工智能安全领域的新巨头。

安全领域一直是一个门槛较高的创业领域，对团队背景要求极高。HydroX AI团队是吸引我们投资的原因之一——团队由众多世界级的人工智能、安全和工程专家组成，满足了这个领域对多元化团队背景的需求。首席执行官ZL对这个领域有着深刻的洞察和思考。由于大型模型安全是一个全新的领域，早期进入者有机会与领先的参与者建立行业共识，引领行业标准的发展，并获得先发优势。我们对HydroX AI在这个新领域中成长为下一代人工智能安全领导者的潜力充满信心。

---

原文链接：

https://medium.com/@atomcapital/atom-news-hydrox-ai-building-a-one-stop-platform-for-llm-security-and-privacy-fda3303bfaec

https://www.hydrox.ai

原文始发于微信公众号（安全喵喵站）：AI安全新思路｜一个集LLM安全和隐私于一体的一站式平台