本地部署 DeepSeek

大语言模型分类

• 指令模型（通用模型、传统模型）

  通过一系列指令来完成任务，说一步做一步。如 DeepSeek-V3、GPT-4o、豆包、Qwen2.5、Llama-3.1 等。

• 推理模型

  专注于逻辑推理、问题解决的模型，能够自主完成复杂任务，如推理、对话、创作等。如 DeepSeek-R1、GPT-4、GPT-4-turbo 等。

DeepSeek 本地部署

安装 Ollama

Ollama 是一个专门用于本地运行大语言模型（LLM）的工具平台！主要用于从 模型库 中一键下载 LLM 模型（支持 Llama、Mistral、DeepSeek 等），并一键启动 LLM 服务。

他也能管理多个模型版本，切换不同模型，并提供类似 OpenAI 的 API 接口调用本地模型（如 http://localhost:11434）。

下载并安装 Ollama，通过如下指令查看是否安装成功

ollama -v

安装 DeepSeek 模型

查看 适合自己电脑配置的模型，通常模型需完全加载到显存才能流畅运行（如 7B 需≈14GB 显存，实际需≥16G 系统内存配合），使用如下指令安装/运行：

# 安装/运行模型
ollama run deepseek-r1:7b
# 退出运行
/bye
# 查看帮助
/help

运行成功后，即可在命令行中输入指令开始对话！

• 其他 ollama 指令

  # 查看所有模型
  ollama list
  # 删除模型
  ollama delete deepseek-r1:7b

使用客户端工具

在 Ollama 中，我们使用命令行和模型交互，不太美观大气，可以使用客户端工具来交互。可将将 DeepSeek 大模型能力轻松接入 各类软件，推荐使用 Cherry Studio，支持多种平台集成。

当然了，如果本地部署的模型不能满足业务需要，也可以使用 DeepSeek 官方 Api、硅基流动 或其他第三方公司提供的满血版 DeepSeek-R1 模型服务 Api。