纪检监察网站建设情况汇报中国企业报

DeepSeek-V3 的综合能力

DeepSeek-V3 在推理速度上相较历史模型有了大幅提升。在目前大模型主流榜单中，DeepSeek-V3 在开源模型中位列榜首，与世界上最先进OpenAI 闭源模型不分伯仲。

1、下载Ollama运行大数据库

Ollama支持 Llama 3.3, DeepSeek-R1, Phi-4, Mistral, Gemma 2,等其他数据模型的本地化部署

Ollama 官方版：【点击前往】

本文将以在windows环境下部署为例: 

Download Ollama on WindowsDownload Ollama for Windowshttps://ollama.com/download/windows

2、拉取DeepSeek R1 AI模型数据库

需要根据本地硬件配置和显卡显存大小来选择拉取的模型库大小。

安装命令——

#5B Qwen Deepseek R1
ollama run deepseek-r1:5b#7B Qwen Deepseek R1
ollama run deepseek-r1:7b#8B Qwen Deepseek R1
ollama run deepseek-r1:8b#14B Qwen Deepseek R1
ollama run deepseek-r1:14b#32B Qwen Deepseek R1
ollama run deepseek-r1:32b#70B Qwen Deepseek R1
ollama run deepseek-r1:70b#671B Qwen Deepseek R1
ollama run deepseek-r1:671b

有条件的小伙伴可以本地部署满血版Deepseek R1 671b原版大模型，它的最低硬件需求：

CPU： 32核心Intel Xeon或者AMD EPYC处理器

内存：512GB RAM

GPU: 4xNVDIA A100\80GB显存

硬盘：2TB Nvme SSD

网络：10Gbps带宽

而本地硬件有限，只能部署蒸馏版的Deepseek R1 8b模型。本人12G的显卡，以拉取8b模型：

查看拉取Deepseek大数据模型库状态：

3、部署本地AnythingLLM  UI环境

 AnythingLLM 下载——

 Github 开源版： 【点击下载】       官方版：【点击下载】

4、上传本地私有知识库

5、畅玩本地Deepseek R1 AI大模型知识库