随州网站建设公司西安网站开发建
一、
前言：
其实早一个月我已经使用过deepseek，并且也在自己的机器上通过ollama部署过，但一直没有太多动力，现在感觉还是的记录一下，省的自己给忘掉了
本文只是简单记录一下ollama+open-webui+chatbox部署通过网盘分享的文件：DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf
链接: https://pan.baidu.com/s/1aQ0FqspQIKk0eq2IoeCCiw?pwd=4xtk 提取码: 4xtk
--来自百度网盘超级会员v6的分享这个模型
二、
环境要求
至少是Windows10， 内存至少16G，本人是32G，cpu至少13代，建议硬件资源越高越好，推理速度会好很多，体验不至于太差
至于其它的东西，比如python环境，cuda环境，cudnn等等这些通通不需要
当然了，显卡如果比较好的话，那自然是好事一件，如果比较差，这个也无所谓，关键是内存和cpu，我的机器经常把内存打满，有时候就比较无语
三。
ollama安装包和chatbox安装包
通过网盘分享的文件：OllamaSetup.exe
链接: https://pan.baidu.com/s/1DluxyKi_onBsLvWCUTspbA?pwd=1v65 提取码: 1v65
通过网盘分享的文件：Chatbox.exe
链接: https://pan.baidu.com/s/1MTGTiB5rII5dBhgsY2x87g?pwd=sqq5 提取码: sqq5
大模型文件：
链接:https://pan.baidu.com/s/1aQ0FqspQIKk0eq2IoeCCiw?pwd=4xtk 提取码:4xtk
ollama在Windows下安装非常方便，就不在这过多废话了，同样的，chatbox也是一样，无脑安装就完事，如果安装不了，那么只能说以后不要碰电脑了，这些东西你把握不了
🆗，一般ollama安装完毕后，就有环境变量了，可以直接在cmd里运行
下面就开始一般步骤了：
1、
ollama导入大模型
先新建一个随意的文本文件，该文件是配置文件，名字无所谓，内容如下：
# Modelfile
FROM G:\software\DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf
PARAMETER num_ctx 4096
PARAMETER temperature 0.8
SYSTEM """你是一个擅长中文对话的AI助手，回答需简洁专业。"""然后打开cmd，假设我的配置文件名字Modelfile.txt，那么，命令为：
ollama create test2 -f G:\software\Modelfile.txt这里，我定义该自定义模型名称为test2，前面的DeepSeek-R1-Distill-Qwen-32B-Q3_K_M.gguf 将会复制到C:\Users\Administrator\.ollama\models 这个目录下
🆗，这样就轻松导入了，大概等待几分钟的样子，这个时候还需要run一下，run完后，也同时作为服务发布到了本地也就是127.0.0.1:11434 这个端口了，此时，ollama serve 命令不可执行，会报错
🆗，此时chatbox就可以派上用场了，由于两者是安装在一个机器上的，因此，很轻易的就可以配置使用了
这里看着对话很多，但都没有什么卵用，可以删除掉，点。。。编辑就可以删除掉
有很多，选择OLLAMA API就行
前面定义的是test:v1 并且run 过了，因此，可以在这里看到，如果run的有很多模型，下拉可以看到
然后保存就完事了，就已经可以体验了，如果遇到报错，重启就行了：
============================================================
推理的时候主要是用cpu和内存，gpu用的很少 ，推理速度和官网速度差不多，但质量方面来说一言难尽，毕竟gguf文件是裁剪过的大模型，可能会有很多错误。
我的显卡是4060Ti，8g内存，完全够跑这个模型
下次在说说如何使用nginx+open-webui 发布大模型服务