Skip to content

大模型本地化部署

1. Ollama

定位: 专为本地设备设计的开源框架,支持macOS/Linux/Windows(需WSL),无需云端资源即可运行百亿级模型。

核心优化

  1. 量化压缩支持
  2. 跨平台硬件加速
  3. 隐私与易用性
  4. 支持多模型切换