随着大语言模型在各行业的广泛应用，如何在本地设备上高效运行模型成为开发者关注的焦点。本文将详细介绍如何在 NVIDIA Jetson（例如 Jetson Nano）上利用 Ollama 工具部署 DeepSeek-R1 模型。通过本教程，你可以在离线环境下运行 DeepSeek-R1，实现快速推理与交互。 环境准备
确认硬件资源
Jetson 设备：本文以 Jetson Orin 为例。
资源要求：
DeepSeek-R1 模型大小：不同参数版本（如 1.5B、7B、14B 等）对内存、存储及 GPU 要求不同。性能较低的设备建议使用较小的模型（例如 deepseek-r1:1.5b）。
存储空间：确保有足够的 SSD 或 eMMC 存储，下载模型数据时需要较大的空间。
系统与依赖
操作系统：Jetson 运行 Ubuntu 22.04。
NVIDIA 驱动与 CUDA：确保已正确安装 NVIDIA 驱动、CUDA 以及相关的 GPU 加速库（如 TensorRT），以便模型能充分利用 Jetson 的 GPU 加速能力。
curl -fsSL https://ollama.com/install.sh | sh Ollama的官方已经支持Jetson，并且可以轻松安装Cuda支持的Ollama。
然后等待安装
或者使用dockers
sudo docker run --runtime nvidia --rm --network=host -v ~/ollama:/ollama -e OLLAMA_MODELS=/ollama dustynv/ollama:r36.4.0 我使用的是这一句，等待下载之后，成功
使用 ss 或 netstat 命令来确认 Ollama 服务是否正确监听在默认的 11434 端口：
如果输出显示有进程正在监听 11434 端口，并且对应的进程 ID 是 100777，那么说明服务监听正常。
Exampe：
Orlama用法：
ollama run DeepSeek-R1 model
ollama run deepseek-r1:1.5b 
等待下载完成之后，就可以使用了。以下是一些问题的示例，大家安装完成后可以尝试。
简述工业革命对世界格局产生了哪些深远影响。
这个回答有一说一 还可以。同时也关注到内存使用占比非常高，毕竟只有16GB。
唐朝由盛转衰的关键事件 “安史之乱” 爆发的原因有哪些。
解释量子计算机相较于传统计算机有哪些独特优势。
简述人工智能中的强化学习主要应用在哪些领域。
有一个数列：1，3，7，15，31，… 请问这个数列的第 10 项是多少，通项公式是什么。
甲、乙、丙三人，一个是医生，一个是教师，一个是警察。已知甲和教师不同岁，教师比乙年龄小，丙比警察年龄大。请推断出甲、乙、丙三人分别从事什么职业。
总的来说精度有限：可调参数少，准确性欠佳。模型规模和表达力不足，应对复杂问题能力差。语义理解浅：深度语义把握不足，影响结果质量。所以最好还是直接使用api调用，效果更好
可选：
Open WebUI 是一种用于运行和管理大型语言模型的多功能，基于浏览器的接口（LLMs ）在本地，为Jetson开发人员提供了一个直观的平台来尝试LLMs在他们的设备上。
sudo docker run -d --network=host \ -v ${HOME}/open-webui:/app/backend/data \ -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main 测试
希望本教程能为你在 Jetson 上部署 DeepSeek-R1 提供有力参考，助你快速构建本地大模型推理环境。如果在部署过程中遇到问题，欢迎在评论区交流讨论，共同探讨最佳实践！
原文链接：https://blog.csdn.net/weixin_44499748/article/details/145455448?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522b3a923896974744bebee86c269de3fc5%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=b3a923896974744bebee86c269de3fc5&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~blog~first_rank_ecpm_v1~times_rank-15-145455448-null-null.nonecase&utm_term=deepseek%E9%83%A8%E7%BD%B2
