Phi-3 系列模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Phi-3, Microsoft, 轻量化模型, 长上下文, 边缘计算

核心结论: Phi-3 系列以轻量化高效推理为核心,通过 3B(Mini)与 14B(Medium)两个规模覆盖边缘到中型部署场景,在数学与逻辑推理长上下文理解代码辅助任务上表现优异;其多阶段训练(合成+公开语料+DPO 微调)确保指令遵循与安全性,但在多语言专业领域知识覆盖方面尚需检索增强与微调补强。

一、模型概览

Phi-3 系列包括:

  • Phi-3 Mini(3.8B 参数,4k/128K 上下文,2.2 GB,MIT 许可)
  • Phi-3 Medium(14B 参数,4k/128K 上下文,量化后约 …

Continue reading

Llama 3.1 系列模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Llama, Meta, 开源模型, 长上下文, 多语言支持

核心结论: Llama 3.1 以超长上下文(128K)开源多规模覆盖(8B/70B/405B)多语言能力为主要特征,在通用知识、长文档理解、编码与多语言对话等场景中表现出色;但高端规模推理成本高专业领域深度略逊,以及安全防护需自行完善

一、模型概览

Llama 3.1 包括三种指令调优规模:

  • 8B:4.9 GB,128K 文本上下文;
  • 70B:43 GB,128K 文本上下文;
  • 405B:243 GB,128K 文本上下文。

均使用 Grouped-Query Attention (GQA) 优化,支持多语言输入(8 种主要语言),可本地 …


Continue reading

Gemma 3 模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with Gemma, Google, 多模态模型, 长上下文, 轻量化部署

核心结论: Gemma 3 系列以多模态处理超长上下文极低资源消耗为特色,兼顾图像理解与文本生成;在视觉问答、文档理解、多语言翻译等任务上表现优异,但在高阶推理与专业领域深入度上略逊于大型专用模型,且需通过提示工程与检索补强事实准确性。

一、模型概述

Gemma 3 系列由 Google 基于 Gemini 技术研发,包含五种规模:

  • 0.27B、1B 参数:32K 文本上下文;
  • 4B、12B、27B 参数:128K 文本上下文、支持图像输入。

采用量化 …


Continue reading

GPT-OSS 模型详解

Posted on Mon 08 September 2025 in 人工智能 • Tagged with GPT-OSS, 开源模型, MoE架构, 代码生成, 长上下文

核心结论: GPT-OSS 系列模型通过开源权重和本地部署能力,实现了在代码生成与复杂推理任务上的竞品级表现,并借助 128K 长上下文窗口,显著提升了长文本处理能力;但其通用知识覆盖多语言理解较顶尖闭源大模型略逊,同时需要开发者自行强化安全与监控机制以防滥用。

一、模型概述

GPT-OSS 包括两种规模:

  • gpt-oss-120B:约1170亿参数,5.1B 活跃参数/层,量化后模型体积≈60.8 GiB,可跑满128K上下文;
  • gpt-oss-20B:约209 亿参数,3.6B 活跃参数 …

Continue reading