一:环境介绍
- 操作系统为ubuntu或centos
- 操作界面为命令行
- 查清服务器的内存与显存
内存 :输入命令free -h 查看
输出信息中的 “Mem” 行对应的 “Total” 字段就是总内存大小。
显存:使用nvidia - smi
命令查看,前提是系统已经安装了 NVIDIA System Management Interface(NVIDIA-SMI)工具。打开终端输入该命令后,在弹出的结果中查找 “FB Memory Usage” 部分,其中 “Total” 列显示的就是显存总大小 。
二:下载ollama
设置ollama的安装路径(可选)
export OLLAMA_HOME=/your/desired/path
安装ollama命令:
curl -fsSL https://ollama.com/install.sh | sh
检验是否安装成功:如果显示版本号则安装成功。
ollama -v
三:下载模型
根据如下图片,选择对应类型的deepseek模型安装。
ollama run deepseek-r1:[选择的版本]
如:
ollama run deepseek-r1:1.5b
查看ollama已安装的模型
ollama list
四:编写代码
安装Python库里的第三方包
pip3 install ollama
使用如下代码(非流模式):
import ollama response=ollama.chat( model="deepseek-r1:1.5b", messages=[ {"role":"user","content":"What time it is?"} ] ) print(response["message"]["content"])
或者(流模式)
import ollama # 流式调用版本 stream = ollama.chat( model="deepseek-r1:1.5b", messages=[ {"role": "user", "content": "What time it is?"} ], stream=True # 关键参数开启流式 ) # 实时输出处理 print("AI 回复流:", end="", flush=True) for chunk in stream: content = chunk["message"]["content"] print(content, end="", flush=True) # 逐块输出 print("\n") # 最后换行
原文链接:https://blog.csdn.net/weixiangqingyun/article/details/145566136?ops_request_misc=%257B%2522request%255Fid%2522%253A%252231139942e9f95b5e540db1cb7d8277e2%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=31139942e9f95b5e540db1cb7d8277e2&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-17-145566136-null-null.nonecase&utm_term=deepseek%E9%83%A8%E7%BD%B2