Phi-3 系列模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Phi-3, Microsoft, 轻量化模型, 长上下文, 边缘计算

核心结论: Phi-3 系列以轻量化高效推理为核心,通过 3B(Mini)与 14B(Medium)两个规模覆盖边缘到中型部署场景,在数学与逻辑推理长上下文理解代码辅助任务上表现优异;其多阶段训练(合成+公开语料+DPO 微调)确保指令遵循与安全性,但在多语言专业领域知识覆盖方面尚需检索增强与微调补强。

一、模型概览

Phi-3 系列包括:

  • Phi-3 Mini(3.8B 参数,4k/128K 上下文,2.2 GB,MIT 许可)
  • Phi-3 Medium(14B 参数,4k/128K 上下文,量化后约 …

Continue reading

Mistral 7B 模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Mistral, 轻量化模型, 高效架构, 函数调用, 开源模型

核心结论: Mistral 7B 以其高效架构卓越性能著称:在"成本/性能"比上相当于三倍规模的 Llama 2,实现对话、推理与代码生成等多场景的优异表现;开源 Apache-2.0 许可与原生函数调用支持,使其成为本地化与云端部署的首选轻量级模型。

一、模型概述

Mistral 7B 采用Grouped-Query Attention (GQA)Sliding Window Attention (SWA)相结合的架构,参数量约7.3B,经 Q4_0 量化后模型大小约4.1 GB,支持标准指令(instruct)与文本补全(text)两种形式,并具备本地化函数调用 …


Continue reading

Llama 3.2 系列模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Llama, Meta, 轻量化模型, 多模态, 边缘计算

核心结论: Llama 3.2 通过 1B/3B 的轻量级文本模型及 11B/90B 的视觉多模态模型组合,实现了在边缘设备视觉理解场景的出色性能;同时保持 128K 超长上下文,适用于对话、摘要、检索图文分析任务。主要不足在于图像分辨率与输出长度限制,以及需要额外整合系统级安全与治理机制。

一、模型概览

Llama 3.2 系列包含:

  • 文本模型:1B 与 3B 参数,优化用于多语言对话、指令跟随、摘要与工具调用;
  • 视觉模型:11B …

Continue reading