Gemma 2 是 Google 最新的开放大语言模型。它有两种规模：90 亿参数和 270 亿参数，分别具有基础 (预训练) 和指令调优版本。Gemma 基于 Google DeepMind 的 Gemini，拥有 8K Tokens 的上下文长度。

CPU配置：CPU最低第六代intel酷睿4核，AMD ZEN 4核以上；推荐12代intel酷睿8核，AMD ZEN 8核以上
内存要求：运行内存18G及以上

Gemma 2 与第一代有许多相似之处。它有 8192 Tokens 的上下文长度，并使用旋转位置嵌入 (RoPE)。与原始 Gemma 相比，Gemma 2 的主要进展有四点： 滑动窗口注意力: 交替使用滑动窗口和全二次注意力以提高生成质量。 Logit 软上限: 通过将 logits 缩放到固定范围来防止其过度增长，从而改进训练。 知识蒸馏: 利用较大的教师模型来训练较小的模型（适用于 90 亿模型）。 模型合并: 将两个或多个大语言模型合并成一个新的模型。 Gemma 2 使用JAX和ML Pathways在Google Cloud TPU (27B on v5p和9B on TPU v4)上进行训练。Gemma 2 Instruct 已针对对话应用进行了优化，并使用监督微调 (SFT)、大模型蒸馏、人类反馈强化学习 (RLHF) 和模型合并 (WARP) 来提高整体性能。