以下是几种在本地部署 DeepSeek 模型的方法:
目录
Toggle借助 LM Studio 部署
- 满足硬件要求2:显卡 GTX 1060(6GB) 及以上,推荐 RTX3060 及以上;内存容量 8GB,推荐 16GB 及更高;存储空间 C 盘剩余 20GB,推荐使用 NVMe 固态硬盘。
- 安装 LM Studio3:访问 LM Studio 官网,根据自己的操作系统下载安装包,双击运行并按照提示完成安装。安装完成后启动 LM Studio,点击右下角的设置图标 (小齿轮) 将语言改为简体中文。
- 下载模型3:若知道模型来源,可自行下载到本地,然后点击 LM Studio 左上方文件夹图标选择模型目录导入。若不知如何找模型,可在 LM Studio 设置的常规部分选中 「Use LM Studio's Hugging Face」 复选框,点击左上方搜索图标 (放大镜),搜索 「deepseek」 找到所需模型版本,点击 「download」 下载。
- 加载模型3:回到软件主界面,在顶部点击选择模型,选中刚刚下载的模型,点击右下角的加载即可使用。
利用 Ollama 部署
- 安装 Ollama4:访问 Ollama 官网,点击 「Download」 按钮,选择适用于自己操作系统的安装包进行安装。在 Windows 系统中安装完后,可通过 「win 键 + R 键」 呼出运行,输入 「cmd」 打开命令行窗口,输入 「ollama」,出现命令菜单即表示安装成功。
- 下载 DeepSeek 模型:在 Ollama 界面点击 「Models」,选择 「deepseek-r1」,根据电脑配置选择合适参数的模型,如 1.5B、7B、8B、14B、32B、70B 等,复制对应的指令 「ollama run deepseek-r1:XXb」(XX 代表参数规模)。
- 运行模型4:在终端或命令行窗口中粘贴并回车运行复制的命令,等待模型下载完成即可运行。还可输入 「ollama list」 查看已下载的模型。
- 配置 Chatbox(可选):下载 Chatbox 客户端,在 Chatbox 的设置中选择 「模型提供方」 为 「OLLAMA API」,在模型下拉菜单中选择已部署的 DeepSeek 模型,点击保存后即可通过 Chatbox 与模型交互。
通过 Docker 部署
- 安装 Docker5:访问 Docker 官网,下载并安装适合自己操作系统的 Docker 版本,完成基础配置。
- 启动 Web 服务1:在终端执行命令 「docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main」。
- 访问控制台5:在浏览器界面输入地址 「http://localhost:3000」,注册账号后,选择 「DeepSeek - R1」 模型,即可在对话框中输入问题进行测试。
相关文章:
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。