人工智能大数据,工作效率生产力
Ctrl + D 收藏本站,更多好用AI工具
当前位置:首页 » 最新消息

部署deepseek到本地服务器成功案例

2025-03-23 7

一:环境介绍

  • 操作系统为ubuntu或centos
  • 操作界面为命令行
  • 查清服务器的内存与显存

内存 :输入命令free -h 查看 输出信息中的 “Mem” 行对应的 “Total” 字段就是总内存大小。

显存:使用nvidia - smi命令查看,前提是系统已经安装了 NVIDIA System Management Interface(NVIDIA-SMI)工具。打开终端输入该命令后,在弹出的结果中查找 “FB Memory Usage” 部分,其中 “Total” 列显示的就是显存总大小 。

二:下载ollama

设置ollama的安装路径(可选)

export OLLAMA_HOME=/your/desired/path

安装ollama命令:

curl -fsSL https://ollama.com/install.sh | sh

检验是否安装成功:如果显示版本号则安装成功。

ollama -v

三:下载模型

根据如下图片,选择对应类型的deepseek模型安装。

部署deepseek到本地服务器成功案例插图

ollama run deepseek-r1:[选择的版本]

如:

ollama run deepseek-r1:1.5b

查看ollama已安装的模型

ollama list

四:编写代码

安装Python库里的第三方包

pip3 install ollama

使用如下代码(非流模式):

import ollama response=ollama.chat( model="deepseek-r1:1.5b", messages=[ {"role":"user","content":"What time it is?"} ] ) print(response["message"]["content"])

或者(流模式)

import ollama # 流式调用版本 stream = ollama.chat( model="deepseek-r1:1.5b", messages=[ {"role": "user", "content": "What time it is?"} ], stream=True # 关键参数开启流式 ) # 实时输出处理 print("AI 回复流:", end="", flush=True) for chunk in stream: content = chunk["message"]["content"] print(content, end="", flush=True) # 逐块输出 print("\n") # 最后换行 

原文链接:https://blog.csdn.net/weixiangqingyun/article/details/145566136?ops_request_misc=%257B%2522request%255Fid%2522%253A%252231139942e9f95b5e540db1cb7d8277e2%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=31139942e9f95b5e540db1cb7d8277e2&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-17-145566136-null-null.nonecase&utm_term=deepseek%E9%83%A8%E7%BD%B2

相关推荐

阅读榜

hellenandjeckett@outlook.com

加入QQ群:849112589

回顶部