Google 发布最新开放大语言模型 Gemma 2，现已登陆 Hugging Face Hub

Google 发布了最新的开放大语言模型 Gemma 2，我们非常高兴与 Google 合作，确保其在 Hugging Face 生态系统中的最佳集成。你可以在 Hub 上找到 4 个开源模型 (2 个基础模型和 2 个微调模型) 。发布的功能和集成包括：

  • Hub 上的模型https://hf.co/collections/google/g-667d6600fd5220e7b967f315

  • Hugging FaceTransformers 集成https://github.com/huggingface/transformers/releases/tag/v4.42.0

  • 与 Google Cloud 和推理端点的集成

Gemma 2 是什么？

Gemma 2 是 Google 最新的开放大语言模型。它有两种规模：90 亿参数和 270 亿参数，分别具有基础 (预训练) 和指令调优版本。Gemma 基于 Google DeepMind 的 Gemini，拥有 8K Tokens 的上下文长度：

  • gemma-2-9bhttps://hf.co/google/gemma-2-9b90 亿基础模型。

  • gemma-2-9b-ithttps://hf.co/google/gemma-2-9b-it90 亿基础模型的指令调优版本。

  • gemma-2-27bhttps://hf.co/google/gemma-2-27b270 亿基础模型。

  • gemma-2-27b-ithttps://hf.co/google/gemma-2-27b-it270 亿基础模型的指令调优版本。

Gemma 2 模型的训练数据量约为其第一代的两倍，总计 13 万亿 Tokens (270 亿模型) 和 8 万亿 Tokens (90 亿模型) 的网页数据 (主要是英语) 、代码和数学数据。我们不知道训练数据混合的具体细节，只能猜测更大和更仔细的数据整理是性能提高的重要因素之一。

Gemma 2 与第一代使用相同的许可证，这是一个允许再分发、微调、商业用途和衍生作品的宽松许可证。

立刻在 Hugging Chat 里体验 Gemma2

https://hf.co/chat/models/google/gemma-2-27b-it

Gemma 2 的技术进展

Gemma 2 与第一代有许多相似之处。它有 8192 Tokens 的上下文长度，并使用旋转位置嵌入 (RoPE)。与原始 Gemma 相比，Gemma 2 的主要进展有四点：

  • 滑动窗口注意力: 交替使用滑动窗口和全二次注意力以提高生成质量。

  • Logit 软上限: 通过将 logits 缩放到固定范围来防止其过度增长，从而改进训练。

  • 知识蒸馏: 利用较大的教师模型来训练较小的模型（适用于 90 亿模型）。

  • 模型合并: 将两个或多个大语言模型合并成一个新的模型。

Gemma 2 使用JAX和ML Pathways在Google Cloud TPU (27B on v5p和9B on TPU v4)上进行训练。Gemma 2 Instruct 已针对对话应用进行了优化，并使用监督微调 (SFT)、大模型蒸馏、人类反馈强化学习 (RLHF) 和模型合并 (WARP) 来提高整体性能。

  • JAXhttps://jax.readthedocs.io/en/latest/quickstart.html

  • ML Pathwayshttps://blog.google/technology/ai/introducing-pathways-next-generation-ai-architecture/

  • Google Cloud TPU 27B on v5phttps://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer?hl=en

  • 9B on TPU v4https://cloud.google.com/tpu/docs/v4

与预训练数据集混合类似，关于微调数据集或与 SFT 和RLHF相关的超参数的细节尚未共享。

  • RLHFhttps://hf.co/blog/rlhf

滑动窗口注意力

滑动窗口注意力是一种用于减少 Transformer 模型中注意力计算的内存和时间需求的方法，已在Mistral等模型中使用。Gemma 2 的新颖之处在于每隔一层应用滑动窗口 (局部 - 4096 Tokens) ，而中间层仍使用全局二次注意力 (8192 Tokens) 。我们推测这是为了在长上下文情况下提高质量 (半数层仍然关注所有 Tokens) ，同时部分受益于滑动注意力的优势。

  • 滑动窗口注意力https://hf.co/papers/2004.05150

  • Mistralhttps://hf.co/papers/2310.06825

软上限和注意力实现

软上限是一种防止 logits 过度增长而不截断它们的技术。它通过将 logits 除以最大值阈值 (soft_cap)，然后通过 tanh 层 (确保它们在 (-1, 1) 范围内) ，最后再乘以阈值。这确保了最终值在 (-soft_cap, +soft_cap) 区间内，不会丢失太多信息但稳定了训练。

综合起来，logits 的计算公式为：logits ← soft_cap ∗ tanh(logits/soft_cap)

Gemma 2 对最终层和每个注意力层都采用了软上限。注意力 logits 上限为 50.0，最终 logits 上限为 30.0。

在发布时，软上限与 Flash Attention / SDPA 不兼容，但它们仍可用于推理以实现最高效率。Gemma 2 团队观察到，在推理过程中不使用软上限机制时，差异非常小。

注意：对于稳定的微调运行，仍需启用软上限，因此我们建议使用 eager 注意力进行微调，而不是 SDPA。

知识蒸馏

知识蒸馏是一种常用技术，用于训练较小的 学生 模型以模仿较大但表现更好的 教师 模型的行为。这是通过将大语言模型的下一个 Token 预测任务与教师提供的 Token 概率分布 (例如 GPT-4、Claude 或 Gemini) 结合起来，从而为学生提供更丰富的学习信号。

根据 Gemma 2 技术报告，知识蒸馏用于预训练 90 亿模型，而 270 亿模型则是从头开始预训练的。

在后期训练中，Gemma 2 团队生成了来自教师 (报告中未指定，但可能是 Gemini Ultra) 的多样化补全集，然后使用这些合成数据通过 SFT 训练学生模型。这也是许多开源模型的基础，如Zephyr和OpenHermes，它们完全基于较大大语言模型的合成数据进行训练。

  • Zephyrhttps://hf.co/HuggingFaceH4/zephyr-7b-beta

  • OpenHermeshttps://hf.co/teknium/OpenHermes-2.5-Mistral-7B

尽管有效，但这种方法存在缺点，因为学生和教师之间的模型容量不匹配可能导致 训练-推理不匹配，即学生在推理期间生成的文本与训练期间看到的文本不同。

为解决这个问题，Gemma 2 团队采用了“在线蒸馏”，其中学生从 SFT 提示生成补全。这些补全用于计算教师和学生 logits 之间的 KL 散度。通过在整个训练过程中最小化 KL 散度，学生能够准确地模拟教师的行为，同时最小化训练-推理不匹配。

  • “在线蒸馏”https://arxiv.org/pdf/2306.13649

这种方法非常有趣，正如我们在社区中看到的那样，在线 DPO 等在线方法会产生更强的模型，而在线蒸馏的一个优势在于只需要教师的 logits，因此无需依赖奖励模型或大语言模型作为评审员来改进模型。我们期待看到这种方法在未来几个月中是否会在微调人员中变得更受欢迎！

模型合并

模型合并是一种将两个或多个大语言模型合并成一个新模型的技术。这是相对较新和实验性的，可以不使用加速器进行。Mergekit是一个流行的开源工具包，用于合并大语言模型。它实现了线性、SLERP、TIES、DARE 和其他合并技术。

  • 模型合并https://hf.co/blog/mlabonne/merge-models

  • Mergekithttps://github.com/arcee-ai/mergekit

根据技术报告，Gemma 2 使用了Warp，这是一种新型合并技术，分三个独特阶段进行合并：

  • Warphttps://arxiv.org/abs/2406.16768

  1. 指数移动平均 (EMA)：在强化学习 (RL) 微调过程中应用。

  2. 球形线性插值 (SLERP)：在多个策略的 RL 微调后应用。

  3. 向初始化线性插值 (LITI)：在 SLERP 阶段之后应用。

Gemma 2 的评估

Gemma 模型的表现如何？以下是根据技术报告和新版开源 LLM 排行榜对其他开源开放模型的性能比较。

  • 开源 LLM 排行榜https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard

技术报告结果

Gemma 2 的技术报告比较了不同开源 LLM 在之前开源 LLM 排行榜基准上的性能。


Llama 3 (70B)Qwen 1.5 (32B)Gemma 2 (27B)
MMLU79.274.375.2
GSM8K76.961.175.1
ARC-c68.863.671.4
HellaSwag88.085.086.4
Winogrande85.381.583.7

该报告还比较了小型语言模型的性能。

BenchmarkMistral (7B)Llama 3 (8B)Gemma (8B)Gemma 2 (9B)
MMLU62.566.664.471.3
GSM8K34.545.750.962.3
ARC-C60.559.261.168.4
HellaSwag83.082.082.381.9
Winogrande78.578.579.080.6

开源 LLM 排行榜结果

注意：我们目前正在新的开源 LLM 排行榜基准上单独评估 Google Gemma 2，并将在今天晚些时候更新此部分。

如何提示 Gemma 2

基础模型没有提示格式。像其他基础模型一样，它们可以用于继续输入序列的合理延续或零样本/少样本推理。指令版本有一个非常简单的对话结构：

<start_of_turn>user
knock knock<end_of_turn>
<start_of_turn>model
who is there<end_of_turn>
<start_of_turn>user
LaMDA<end_of_turn>
<start_of_turn>model
LaMDA who?<end_of_turn><eos>

必须精确地复制此格式才能有效使用。稍后我们将展示如何使用 transformers 中的聊天模板轻松地复制指令提示。

演示

你可以在 Hugging Chat 上与 Gemma 27B 指令模型聊天！查看此链接:
https://hf.co/chat/models/google/gemma-2-27b-it

使用 Hugging Face Transformers

随着 Transformers版本 4.42的发布，你可以使用 Gemma 并利用 Hugging Face 生态系统中的所有工具。要使用 Transformers 使用 Gemma 模型，请确保使用最新的 transformers 版本：

  • 版本 4.42https://github.com/huggingface/transformers/releases/tag/v4.42.0

pip install "transformers==4.42.1" --upgrade

以下代码片段展示了如何使用 transformers 使用 gemma-2-9b-it。它需要大约 18 GB 的 RAM，适用于许多消费者 GPU。相同的代码片段适用于 gemma-2-27b-it，需要 56GB 的 RAM，使其非常适合生产用例。通过加载 8-bit 或 4-bit 模式，可以进一步减少内存消耗。

from transformers import pipeline
import torch

pipe = pipeline(
    "text-generation",
    model="google/gemma-2-9b-it",
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda",
)

messages = [
    {"role": "user", "content": "Who are you? Please, answer in pirate-speak."},
]
outputs = pipe(
    messages,
    max_new_tokens=256,
    do_sample=False,
)
assistant_response = outputs[0]["generated_text"][-1]["content"]
print(assistant_response)

啊哈，船长！我是数字海洋上的一艘谦卑的词语之船。他们叫我 Gemma，是 Google DeepMind 的杰作。我被训练在一堆文本宝藏上，学习如何像一个真正的海盗一样说话和写作。

问我你的问题吧，我会尽力回答，啊哈！🦜📚

我们使用 bfloat16 因为这是指令调优模型的参考精度。在你的硬件上运行 float16 可能会更快，90 亿模型的结果应该是相似的。然而，使用 float16 时，270 亿指令调优模型会产生不稳定的输出：对于该模型权重，你必须使用 bfloat16。

你还可以自动量化模型，以 8-bit 甚至 4-bit 模式加载。加载 4-bit 模式的 270 亿版本需要大约 18 GB 的内存，使其兼容许多消费者显卡和 Google Colab 中的 GPU。这是你在 4-bit 模式下加载生成管道的方式：

pipeline = pipeline(
    "text-generation",
    model=model,
    model_kwargs={
        "torch_dtype": torch.bfloat16,
        "quantization_config": {"load_in_4bit": True}
    },
)

有关使用 Transformers 模型的更多详细信息，请查看模型卡。

  • 模型卡https://hf.co/gg-hf/gemma-2-9b

与 Google Cloud 和推理端点的集成

注意：我们目前正在为 GKE 和 Vertex AI 添加新的容器，以高效运行 Google Gemma 2。我们将在容器可用时更新此部分。

其他资源

  • Hub 上的模型https://hf.co/collections/google/g-667d6600fd5220e7b967f315

  • 开放 LLM 排行榜https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard

  • Hugging Chat 上的聊天演示https://hf.co/chat/models/google/gemma-2-27b-it

  • Google 博客https://blog.google/technology/developers/google-gemma-2/

  • Google Notebook 即将推出

  • Vertex AI 模型花园 即将推出

致谢

在生态系统中发布此类模型及其支持和评估离不开许多社区成员的贡献，包括Clémentine和Nathan对 LLM 的评估；Nicolas对文本生成推理的支持；Arthur、Sanchit、Joao和Lysandre对 Gemma 2 集成到 Transformers 中的支持；Nathan和Victor使 Gemma 2 在 Hugging Chat 中可用。

  • Clémentinehttps://hf.co/clefourrier

  • Nathanhttps://hf.co/SaylorTwift

  • Nicolashttps://hf.co/Narsil

  • Arthurhttps://hf.co/ArthurZ

  • Sanchithttps://hf.co/sanchit-gandhi

  • Joaohttps://hf.co/joaogante

  • Lysandrehttps://hf.co/lysandre

  • Nathanhttps://hf.co/nsarrazin

  • Victorhttps://hf.co/victor

感谢 Google 团队发布 Gemma 2！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/767461.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

详细解释下flutter初始示例的代码

详细解释下flutter初始示例的代码

详细解释下flutter初始示例的代码 main 首句导入需要的包 类似于其他语言的import main函数为入口函数 包裹MyApp类 MyApp 这个类继承自无状态类 可见myapp不管理任何状态 build方法是所有widget内必须实现的方法 此处返回一个 ChangeNotferiProvider 可以看到它用于管理应…
阅读更多...
理解 REST API 和 GraphQL 的区别

理解 REST API 和 GraphQL 的区别

你可能听说过 GraphQL&#xff0c;但对它与 REST 的区别还不完全确定。今天我们将介绍 REST 和 GraphQL 的一些基本原理&#xff0c;以及它们的不同使用场景。 GraphQL 作为 REST API 的替代品越来越受欢迎&#xff0c;不过它不一定是完全的“替代品”。 根据你的使用情景&am…
阅读更多...
LLM笔记：训练大模型之并行化

LLM笔记：训练大模型之并行化

1 数据并行 最常见的并行化手段主要是把数据分成多个块&#xff0c;然后每个节点就可以在本地独立的跑各自的数据任务&#xff0c;最后再和其他节点通信&#xff0c;进而汇总最后的结果好处就是计算效率高&#xff0c;每个节点可以独自计算自己的任务且这种方法易于实现缺点就…
阅读更多...
【Python基础篇】一篇文章入门Python，进入Python的世界

【Python基础篇】一篇文章入门Python，进入Python的世界

文章目录 0.前言1.打印&#xff08;Hello&#xff0c;World&#xff09;2.创建变量3.打印升级3.1 打印一句话中间加变量3.2 sep设置分隔符3.3 end和换行 4. 注释 0.前言 大家好&#xff0c;我是小辰&#xff0c;前几天做了个重大的决定&#xff0c;学习python。 首先&#xff0…
阅读更多...
博途S7-1500PLC“虚轴“编程应用

博途S7-1500PLC“虚轴“编程应用

1、CODESYS如何添加虚轴 如何添加虚轴(AM400PLC)-CSDN博客文章浏览阅读164次。EtherCAT运动控制总线启用的时候，选择EtherCAT总线任务周期。选择好后，选择点击添加。https://rxxw-control.blog.csdn.net/article/details/139898985虚轴是利用软件算法实现的运动控制轨迹规划…
阅读更多...
外挂级OCR神器：免费文档解析、表格识别、手写识别、古籍识别、PDF转Word

外挂级OCR神器：免费文档解析、表格识别、手写识别、古籍识别、PDF转Word

智能文档解析&#xff1a;大模型友好的文档解析工具 PDF转Markdown 支持将任意格式的文件&#xff08;图片、PDF、Doc&#xff0f;Docx、网页等&#xff09;解析为Markdown或Json格式&#xff0c;以对LLM友好的方式呈现。 更高速度&#xff1a;100页PDF最快1.5s完成解析 更大…
阅读更多...
DEBOPIE框架：打造最好的ChatGPT交易机器人

DEBOPIE框架：打造最好的ChatGPT交易机器人

本文介绍了如何利用 DEBOPIE 框架并基于 ChatGPT 创建高效交易机器人&#xff0c;并强调了在使用 AI 辅助交易时需要注意的限制以及操作步骤。原文: Build the Best ChatGPT Trading Bots with my “DEBOPIE” Framework 如今有大量文章介绍如何通过 ChatGPT 帮助决定如何以及在…
阅读更多...
Hi3861 OpenHarmony嵌入式应用入门--TCP Server

Hi3861 OpenHarmony嵌入式应用入门--TCP Server

本篇使用的是lwip编写tcp服务端。需要提前准备好一个PARAM_HOTSPOT_SSID宏定义的热点&#xff0c;并且密码为PARAM_HOTSPOT_PSK LwIP简介 LwIP是什么&#xff1f; A Lightweight TCP/IP stack 一个轻量级的TCP/IP协议栈 详细介绍请参考LwIP项目官网&#xff1a;lwIP - A Li…
阅读更多...
6.7、函数的分文件编写

6.7、函数的分文件编写

mian函数部分代码 #include <iostream> using namespace std; #include <string> #include "swap.h"//函数的分文件编写 //实现两个数字进行交换的函数//函数的声明 //void swap(int a,int b); //函数的定义 //void swap(int a, int b) //{ // int temp…
阅读更多...
9. Revit API UI: UIView、UIDocument、框选聚焦

9. Revit API UI: UIView、UIDocument、框选聚焦

9. Revit API UI: UIView、UIDocument、框选聚焦 UI命名空间下的API&#xff0c;到这里差不多就要讲完了&#xff0c;同Application那篇所讲的几个类与接口&#xff0c;都是带UI的对应了一个不带UI的&#xff0c;如UIApplication和Application&#xff0c;作用呢&#xff0c;也…
阅读更多...
Python基于PyQt5和卷积神经网络分类模型(CNN分类算法)实现时装类别识别系统GUI界面项目实战

Python基于PyQt5和卷积神经网络分类模型(CNN分类算法)实现时装类别识别系统GUI界面项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 随着深度学习技术的发展&#xff0c;计算机视觉领域取得了显著的进步&#xff0c;特别是在图像分类、目…
阅读更多...
Java8环境安装（jdk1.8安装）详细教程

Java8环境安装（jdk1.8安装）详细教程

Java 8环境安装&#xff08;jdk1.8安装&#xff09;详细教程 Java 8&#xff08;也称为JDK 1.8&#xff09;&#xff0c;是Oracle公司于2014年3月发布的一个重要的Java语言版本。这个版本自发布以来&#xff0c;因其众多的新特性和改进&#xff0c;被认为是Java语言发展历程中…
阅读更多...
渗透测试之注入

渗透测试之注入

命令注入 命令注入相关分隔符&#xff1a; 字符说明;仅限Linux环境&#xff0c;用于隔开命令&#xff0c;按顺序执行|前面命令的输出结果作为后面命令的输入内容||前提是前面的命令执行失败&#xff0c;和&&号相反&前后两条命令依次执行&&前提是前面的命…
阅读更多...
虚拟机的网络配置

虚拟机的网络配置

&#x1f4d1;打牌 &#xff1a; da pai ge的个人主页 &#x1f324;️个人专栏 &#xff1a; da pai ge的博客专栏 ☁️ 每一步都向着梦想靠近&#xff0c;坚持就是胜利的序曲 一 …
阅读更多...
优化服务，推动企业向前发展

优化服务，推动企业向前发展

在快速变化的商业环境中&#xff0c;企业的成长离不开优质的服务支持。成都树莓集团&#xff0c;作为数字产业生态链的重要构建者&#xff0c;始终将优化服务、助力企业成长作为自身的核心使命。通过全方位、一站式的服务模式&#xff0c;树莓集团为企业提供强大的支持&#xf…
阅读更多...
Idea-Idea配置gitIgnore忽略文件

Idea-Idea配置gitIgnore忽略文件

背景 在项目提交到Git过程中&#xff0c;总有一些文件&#xff0c;例如.idea和.iml等这些我们不想提交的&#xff0c;直接添加进入gitIgnore文件中自动忽略掉。 Idea安装插件 1、在File->Setting->Plugins中搜索gitIgnore并安装插件 2、项目右键new->.ignore File-…
阅读更多...
vue实现一个简单的审批绘制功能

vue实现一个简单的审批绘制功能

1、vue代码 <div class"approval"><div class"approval_ul" v-for"(item,key) in approvalList" :key"key"><div><el-radio-group v-model"item.jointlySign"><el-radio label"1">…
阅读更多...
P3374 【模板】树状数组 1

P3374 【模板】树状数组 1

题目描述 如题&#xff0c;已知一个数列&#xff0c;你需要进行下面两种操作&#xff1a; 将某一个数加上 &#x1d465;x 求出某区间每一个数的和 输入格式 第一行包含两个正整数 &#x1d45b;,&#x1d45a;n,m&#xff0c;分别表示该数列数字的个数和操作的总个数。 …
阅读更多...
秋招突击——7/2——复习{}——新作{分割等和子集、不同路径、最小路径和、最长回文子串}

秋招突击——7/2——复习{}——新作{分割等和子集、不同路径、最小路径和、最长回文子串}

文章目录 引言复习新作分割等和子集个人实现参考实现 不同路径个人实现参考实现 最小路径和个人实现参考实现 最长回文子串个人实现参考实现字符串哈希二分 总结 引言 今天起的挺早的&#xff0c;早上把昨天录得关于JVM的相关八股都听完了&#xff0c;然后还背了一部分八股&am…
阅读更多...
用Chromatix进行tuning流程

用Chromatix进行tuning流程

##一、基本调试 ###1、工程初始配置&#xff1a; 这个工具就是一个图形化的参数编辑器&#xff0c;其实所有tuning中的效果参数直接改文件参数酒醒&#xff0c;工具的好处是&#xff1a;带有检查错误和模拟的功能以及一些校验工具和脚本。 初始化可以中需要的配置&#xff1a;t…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站