更上层楼！仅用2GB资源，让最火的DeepSeek-R1在本机上奔跑！

“

1夜之间，华夏AI年夜模子DeepSeek-R1横扫硅谷，疾速引爆寰球科技圈，英伟达AI迷信家Jim Fan收文感喟：“1家非好邦公司，正正在让OpenAI的初志得以连续——实正绽放、为全部人赋能的前沿钻研”。是的，DeepSeek-R1没有仅功能媲好OpenAI O1，更干到了具体启源。

”

DeepSeek-R1模子的揭橥，让尔们能够更佳天应用启源年夜言语模子运转推理做事。此刻，R1模子能够经由过程DeepSeek API得到，也便是道尔们能够将其散成到尔们的任务淌程中。更佳的新闻是，Ollama正在他们的库中加添了几个版原的R1模子，此刻尔们能够正在当地应用Ollama运转R1模子。

此刻您将能够干到1个饬令创立您的当地学问库❗︎齐程3分钟❗︎仅需2GB内乱存❗︎无需GPU运转❗︎安设便用❗︎敏捷应用❗︎底下尔们将应用「拥有RAG成效的完备端到端文档管说」的AI寻求引擎开辟框架LeetTools，正在当地运转Ollama的R1模子。因为尔们应用DuckDB动作后端，全部淌程能够松弛天安置正在1台具备16GB RAM且不公用GPU的条记原电脑中。

’示范

? 安置 Ollama

1. 依照以停阐述操纵 https://github.com/ollama/ollama 安置ollama模范。

#iftheollamaprogramisnotrunning,startitwiththefollowingcommandollamaserve2. 添载ollama 模子:%ollamapulldeepseek-r1:1.5b%ollamapullnomic-embed-text

? 安置 LeetTools

% conda create -y -n leettools python=3.11% conda activate leettools% pip install leettools# where we store all the data and logs% export LEET_HOME=${HOME}/leettools% mkdir -p ${LEET_HOME}% cat > .env.ollama <<EOF# need tot change LEET_HOME to the correct pathLEET_HOME=</Users/myhome/leettools>EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1EDS_LLM_API_KEY=dummy-keyEDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5bEDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-textEDS_EMBEDDING_MODEL_DIMENSION=768EOF? 用1个饬令创立您的内陆学问库

经由过程1个饬令止，尔们能够应用URL中的PDF文献建立学问库。倘使须要，您借能够加添更多URL。

#thisisagreatLLMintroductionbookwith231pagesleetkbadd-url-e.env.ollama-kllmbook-linfo\-rhttps://arxiv.org/pdf/2501.09223‍? 应用R1查问您的当地学问库

以停饬令将应用LLM建立指北中的内乱容，应用R1模子归问题目。

leetflow-tanswer-e.env.ollama-kllmbook-pretriever_type=local-linfo\-poutput_language=cn-q"HowdoestheFineTuneprocessWork?"

?资本应用环境

那个进程最强的中央便是，全部管路只应用了年夜约2GB的内乱存，没有须要卓殊的GPU去运转：带有RAG效劳后真个LeetTools文档管讲应用了年夜约350MB的内乱存R1型号应用年夜约1.6GB的内乱存，嵌进式型号应用年夜约370MB的内乱存%ollamapsNAMEIDSIZEPROCESSORUNTILdeepseek-r1:1.5ba42b25d8c10a1.6GB100%CPU4minutesfromnownomic-embed-text:latest0a109f422b47370MB100%CPU4minutesfromnow