「人脑替代计划-3」一周内的两个核弹SORA& Gemma

在短短一周内，世界见证了两家科技巨头最具突破性的人工智能进步。OpenAI 推出了令人惊叹的 AI 视频生成器Sora，而 Google 则推出了Gemini 1.5 模型，能够支持多达 100 万个令牌上下文窗口。

今天，谷歌又发布了Gemma（https://ai.google.dev/gemma/），这是一个轻量级、最先进的开源模型系列，基于用于创建 Gemini 模型的研究和技术而构建。

杰玛是什么？

Gemma以拉丁语gemma命名，意为“宝石”，Gemma 从其前身 Gemini 中汲取灵感，反映了其在科技界的价值和稀有性。

它们是文本到文本、仅限解码器的大型语言模型，提供英语版本，具有开放权重、预训练变体和指令调整变体。

Gemma 从今天开始在全球范围内提供两种尺寸（2B 和 7B），支持多种工具和系统，并在开发人员笔记本电脑和工作站上运行。

2 种型号尺寸和功能

Gemma 模型有 20 亿和 70 亿参数大小可供选择。2B 模型旨在在移动设备和笔记本电脑上运行，而 7B 模型旨在在台式计算机和小型服务器上运行。

调整模型

Gemma 也有两个版本：调整版和预训练版。

• 预训练：这就像没有任何微调的基本模型。该模型未针对 Gemma 核心数据训练集之外的任何特定任务或指令进行训练。

• 指令调整：该模型针对人类语言交互进行了微调，从而提高了其执行目标任务的能力。

与竞争对手相比如何？

由于 Gemma 体积小，因此能够直接在用户的笔记本电脑上运行。下图显示了 Gemma (7B) 的语言理解和生成性能与 LLaMA 2 (7B)、LLaMA 2 (13B) 和 Mistral (7B) 等类似大小的开放模型的比较。

它是做什么用的？

以下是 Gemma 的一些可能的用例：

内容创作与传播

• 文本生成

• 聊天机器人和对话式人工智能

• 文本摘要

研究与教育

• 自然语言处理 (NLP) 研究：作为 NLP 研究的基础，试验技术、开发算法并为该领域的进步做出贡献。

• 语言学习工具：支持交互式语言学习体验、帮助语法纠正或提供写作练习。

• 知识探索：通过生成摘要或回答有关特定主题的问题，帮助研究人员探索大量文本。

以前需要极大模型的任务现在可以通过最先进的较小模型来完成。这开启了开发人工智能应用程序的全新方式，我们很快就能在智能手机上看到设备内的人工智能聊天机器人——无需互联网连接。

那有多令人兴奋？

不过这样好吗？

一些Reddit 用户分享了他们使用 Gemma 的经验，但到目前为止，效果看起来并不好。看一下这个例子，当被问及体重问题时，给出了错误的答案。

我自己还没有真正尝试过，但重要的是要记住，像这样的较小模型预计会有一些缺陷，有时可能会给出错误的答案。

自己尝试一下

您今天就可以开始与 Gemma 合作，免费访问 Kaggle（Colab 笔记本的免费套餐），并为首次使用 Google Cloud 的用户提供 300 美元的积分。

如果您有兴趣开始使用 Gemma，请查看这些指南，了解从文本生成到 Gemma 模式下的部署：

• 使用 Gemma 生成文本：使用模型构建基本文本生成示例。

• 使用 LoRA 调整来调整 Gemma：在 Gemma 2B 模型上执行 LoRA 微调。

• 使用分布式训练调整 Gemma 模型：使用带有 JAX 后端的 Keras 来微调具有 LoRA 和模型并行性的 Gemma 7B 模型。

• 将 Gemma 部署到生产环境：使用 Vertex AI 将 Gemma 部署到生产环境。

下载模型

目前， HuggingFace上提供了开放模型。

https://huggingface.co/models?other=gemma&sort=trending&search=google

Gemma 模型也可以从Kaggle Models下载。

https://www.kaggle.com/models/google/gemma

最后的想法

虽然 Gemma 模型可能很小并且缺乏复杂性，但它们可以在速度和使用成本方面弥补这一点。

从更大的角度来看，谷歌不是追逐消费者眼前的兴奋，而是为企业培育市场。他们设想，当开发人员使用 Gemma 创建创新的新消费者应用程序时，公司会为 Google Cloud 服务付费。

此外，尽管 Gemini 的反响平平，谷歌仍然表明它还有更多的技巧。

当然，对于任何强大的技术，真正的考验是它的效果如何。谷歌的过去引发了这样的问题：这些模型在现实世界中是否会像它们承诺的那样表现良好。密切关注这一点很重要，但也希望谷歌能够吸取过去的教训，提供真正可以与竞争对手相媲美甚至更好的模型。

我迫不及待地想接触 Gemma，我一定会分享我对这个新人工智能模型的初步想法和发现。

原文始发于微信公众号（KK安全说）：「人脑替代计划-3」一周内的两个核弹SORA& Gemma