本地部署deepseek
在人工智能领域,大型语言模型(LLM)的应用越来越广泛,但许多用户希望能够在本地环境中部署和运行这些模型,以满足数据隐私、定制化需求或离线使用的场景。 DeepSeek-R1 是最近非常火爆的一个高性能的 AI 推理模型,专注于数学、代码和自然语言推理任务。Ollama 是一个强大的工具,可以帮助用户在本地轻松部署和管理大型语言模型
1. Ollama 简介
Ollama 是一个开源的本地化大模型部署工具,旨在简化大型语言模型(LLM)的安装、运行和管理。它支持多种模型架构,并提供与 OpenAI 兼容的 API 接口,适合开发者和企业快速搭建私有化 AI 服务。
Ollama 的主要特点包括:
轻量化部署:支持在本地设备上运行模型,无需依赖云端服务。
多模型支持:兼容多种开源模型,如 LLaMA、DeepSeek 等。
高效管理:提供命令行工具,方便用户下载、加载和切换模型。
跨平台支持:支持 Windows、macOS 和 Linux 系统。
2. DeepSeek-R1 简介
DeepSeek-R1 是由深度求索(DeepSeek)公司开发的高性能 AI 推理模型,专注于数学、代码和自然语言推理任务。其核心优势包括:
强化学习驱动:通过强化学习技术显著提升推理能力,仅需少量标注数据即可高效训练。
长链推理(CoT):支持多步骤逻辑推理,能够逐步分解复杂问题并解决。
模型蒸馏:支持将推理能力迁移到更小型的模型中,适合资源有限的场景。
开源生态:遵循 MIT 开源协议,允许用户自由使用、修改和商用。
3. 安装
直接下载 ollama
githup下载
测试安装是否成功
ollama –version
然后运行命令下载 deepseek
ollama run deepseek-r1:14b
我的本地环境: macM4 24G内存,下载了32b 和 14b, 自测发现 14b可以正常跑, 32b运行后内存爆满
安装成功后启动 ollama run deepseek-r1:14b
测试结果:
1 | >>> 如果你是孔子,如何看待今天困于网络中的人们呢 |
感觉还行,对中文的理解超过GPT, 本地自己玩玩,完全可以的,后续开始探索api接入和训练。