Mistral

核心结论： Mistral 7B 以其高效架构和卓越性能著称：在"成本/性能"比上相当于三倍规模的 Llama 2，实现对话、推理与代码生成等多场景的优异表现；开源 Apache-2.0 许可与原生函数调用支持，使其成为本地化与云端部署的首选轻量级模型。 一、模型概述 Mistral 7B 采用**Grouped-Query Attention (GQA)与Sliding Window Attention (SWA)**相结合的架构，参数量约7.3B，经 Q4_0 量化后模型大小约4.1 GB，支持标准指令（instruct）与文本补全（text）两种形式，并具备本地化函数调用能力。1 二、关键性能指标 常识推理：HellaSwag、Winogrande、PIQA 等零 shot 平均得分超过 80%，整体推理水平优于 Llama 2 13B，媲美 Llama 1 34B。1 世界知识：NaturalQuestions 与 TriviaQA 5 shot 平均 68.2%，与 Llama 2 13B 持平。1 阅读理解：BoolQ、QuAC 等零 shot 平均 79.4%，超过同量级竞品。1 数学：GSM8K 8 shot（maj@8）+ MATH 4 shot（maj@4）综合得分 72.1%，等效于 24B 参数模型。1 代码生成：Humaneval 0 shot + MBPP 3 shot 平均 57.8%，接近 CodeLlama 7B 水平。1 聚合基准：MMLU 5 shot 85.3%、BBH 3 shot 81.7%、AGI Eval 3-5 shot 78.9%。1 推理效率：在推理/成本平面上，相当于 Llama 2 三倍规模模型；预填充与生成峰值吞吐较 Llama 2 13B 提升约 2.5×。1 三、技术架构特点 Grouped-Query Attention (GQA) 内存优化：通过共享键值对减少内存占用 计算效率：在保持性能的同时降低计算复杂度 长序列支持：更好地处理长文本输入 Sliding Window Attention (SWA) 局部注意力：关注局部上下文窗口内的信息 计算复杂度：线性复杂度而非二次复杂度 长文档处理：有效处理超长文档和对话 架构优势 参数效率：7.3B参数实现更大模型的性能 推理速度：显著提升推理吞吐量 内存友好：降低部署硬件要求 四、优势与不足 主要优势 高效架构： GQA+SWA 实现长序列处理与低延迟 推理效率相当于三倍规模的Llama 2 预填充和生成吞吐量提升2.5倍 ...