在本地计算机上离线部署DeepSeek大模型

大数据学习路线图

作者:厦门大学信息学院计算机科学系2023级研究生 黄万嘉
指导老师:厦门大学数据库实验室 林子雨 博士/副教授

安装系统:要求Windows10 及以上
磁盘空间:要求不少于5GB

下载安装所需文件

百度网盘地址:https://pan.baidu.com/s/1kOcyzb3QGMnJOoIVXka4NA?pwd=ziyu ,提取码是ziyu,可以从该地址下载本篇文章所需要的Ollama安装包和DeepSeek模型,这两部分文件都在压缩包“离线部署deepseek.rar”中

安装Ollama

打开Ollama安装包(OllamaSetup.exe),点击“Install”开始安装。

安装完成后,按下 Win + R 键,输入 cmd 并回车,打开命令行窗口。

在命令行中输入 ollama,如果看到以下输出,说明Ollama已成功安装。

安装Deepseek R1 1.5b模型

1.下载并解压模型

从百度网盘下载Deepseek R1 1.5b模型的压缩包(deepseek-r1-1.5b.rar),解压后进入解压后的文件夹,并在解压后的文件夹键入cmd

2.通过命令行安装模型

在命令行中输入以下命令,Ollama将根据Modelfile中的配置自动安装 deepseek-r1-1.5b.gguf 文件:

ollama create deepseek-r1-1.5b -f Modelfile

安装成功后,命令行会显示“success”提示。

3.运行Deepseek模型

安装完成后,输入以下命令即可运行Deepseek模型:

ollama run deepseek-r1-1.5b

安装其他大小的DeepSeek大模型

本文以DeepSeek-r1 1.5b作为示例,如果需要下载其他大小的模型,需要得到该模型的gguf文件,目前DeepSeek发布在Hugging Face上的模型并没有直接提供gguf文件,如果是采取量化模型的方式得到gguf文件略显复杂,因此推荐有安装其他大小DeepSeek模型的用户,在其他可联网的机子中运行Ollama,直接下载对应大小的DeepSeek大模型,如7B,下载之后至模型文件夹中(C:\Users\你的用户名文件夹.ollama\models\blobs),里面存放的是你下载的模型,我们在这里获取到下载的7B文件(文件名通常是一个很长的ID,可以通过下载时间最近和文件大小最大进行判断),将其改名为deepseek-r1-7b.gguf,之后还需要修改Modelfile中的FROM字段内容,修改完成拷贝至离线环境便可按照前文所述进行离线安装。

目前百度网盘已经更新了DeepSeek-R1-7B的离线安装压缩包,如果需要安装7b版本,可以至百度网盘下载“deepseek-r1-7b.zip”压缩包,解压后按照上文所述方式进行离线部署。