在CentOS服务器上部署DeepSeek R1，并通过公网IP与其进行对话，可以按照以下步骤操作：
一、环境准备
系统要求：
CentOS 8+（需支持AVX512指令集）。
硬件配置：
GPU版本：NVIDIA驱动520+，CUDA 11.8+。
CPU版本：至少16核处理器，64GB内存。
存储空间：原始模型需要30GB，量化后约8-20GB。
安装基础工具：
更新系统并安装必要的编译工具：
一定要买GPU服务器。
sudo yum update -y sudo yum install -y cmake g++ python3-devel 二、安装Ollama及DeepSeek R1模型
安装Ollama核心组件：
curl -fsSL https://ollama.com/install.sh | sh
这里的下载速度可能会特别慢，建议自己配hosts。
安装模型转换工具：
pip3.8 install llama-cpp-python[server] --extra-index-url https://abetlen.github.io/llama-cpp-python/whl/cpu 这一步可能依赖版本，g++版本不兼容一直导致报错，建议通过docker方式进行部署。
我自己用的是pip3.8，可根据pip版本自行调整。
下载DeepSeek R1原始模型：
原文链接：https://blog.csdn.net/qq_43806430/article/details/145420804?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522cd497d42b4966be100c60fe226493976%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=cd497d42b4966be100c60fe226493976&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-10-145420804-null-null.nonecase&utm_term=deepseek%E9%83%A8%E7%BD%B2
