1.前言
这个假期,DeepSeek得爆火可谓震惊整个世界,也打破我对AI也只是一个简单辅助工具得认知。它得思维链得推理模型可以说让任何小白都能轻松上手,不需要像以前得AI模型需要一定的提示工程知识基础,思考提示词。他会根据你提供的问题,尽量分析你的意图,通过多维度推理最终提供给你想要的答案。不仅结果更加准确,就连推到过程都很值得我们学习。
他居然真的想教会我怎么解质数!😄
不过,你是否还在因为使用deepseek经常服务器繁忙而苦恼?那么我们今天就亲手本地部署一个deepseek。来解决官网时常崩溃得问题。
当前deepseek模型总共有一下模型,对应模型以及需要的资源大致如下:
模型 |
模型大小 |
需要显存大小 |
备注 |
1.5b |
1.1G |
4G |
|
7b |
4.7G |
8G |
|
8b |
4.9G |
12G |
|
14b |
9G |
24G |
|
32b |
20G |
50G |
|
70b |
43G |
120G |
|
671b |
404G |
未知 |
官网使用模型 |
大家先根据自己得设备显存大小,决定使用哪个模型。建议模型使用14b以上,效果会好很多,其他得不建议使用本地部署。
2.本地安装
2.1.Ollama介绍
Ollama 是一个专注于本地化运行大型语言模型(LLMs)的工具,可以让用户能够在自己的设备上高效、便捷地部署和使用 AI 模型。
特点如下:
-
本地化运行:Ollama 支持在本地设备(如个人电脑、服务器)上运行大型语言模型,无需依赖云端服务,保障数据隐私和安全。
-
轻量化设计:通过优化模型加载和推理过程,降低资源占用,使其能够在普通硬件上运行。
-
多平台支持:兼容多种操作系统(如 Windows、macOS、Linux),方便用户在不同环境中使用。
-
简单易用:提供直观的命令行工具和 API,用户可以快速部署和调用模型。
2.2.安装Ollama
1.下载ollama
访问https://ollama.com/,点击下载
根据自己得操作系统,选择对应的版本进行下载
2.安装ollama
双击下载好的的文件,点击install进行安装
3.新增环境变量
新增环境变量OLLAMA_MODELS,用来放置下载的模型,不设置的话会放在C盘,导致C盘过大。
4.运行ollama
安装好之后,开始菜单中会图标,双击运行
5.选择模型
根据自己的配置选择合适的模型,点击复制命令按钮
6.运行模型
打开cmd,粘贴刚才复制的命令
ollama run deepseek-r1:14b
如果本地有模型则会进入对话页面,如果没有则会下载对应模型
7.对话进行
如果模型下载好,则自动进入对话模式,可以通过命令行进行对话
8.安装webUI界面
如果想要使用webui页面,可以使用google插件,page Assist,安装好之后界面如下,左上角选择模型即可直接使用。
这样,你就可以在本地使用deepseek拉,再也没有任何限制。
原文链接:https://blog.csdn.net/b379685397/article/details/145557588?ops_request_misc=%257B%2522request%255Fid%2522%253A%25226607dbaa2797b7895d07e4a7b5f331cc%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=6607dbaa2797b7895d07e4a7b5f331cc&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-8-145557588-null-null.nonecase&utm_term=deepseek+%E6%8F%90%E7%A4%BA%E8%AF%8D