Gemma
分类: 网络架构
Gemma
定义
Google DeepMind 发布的开源 LLM 系列，包含 2B 和 9B 参数规模，基于 Gemini 技术构建
核心要点
Gemma-2 是第二代，包含 2B、9B、27B 三种规模
采用标准 Transformer decoder 架构，支持 grouped-query attention
在同规模开源模型中性能领先
常被用作 LLM 压缩/剪枝研究的实验平台
代表工作
DieT: 在 Gemma-2 2B 和 9B 上验证维度级全局剪枝效果