DeepSeek 教學 | DeepSeek R1 PC 安裝教學,離線 AI 任用更安全!
只要有一台不太差的電腦,就可以試著安裝看看了。
雖然說上個禮拜是新年長假,但由中國 AI 公司深度求索 DeepSeek 推出的「DeepSeek R1」模型仍然掀起了一波巨浪。它除了號稱有和 OpenAI 當時的先進模型同級的表現、具備深入思考(先想好求取答案的步驟,再依序求解)的能力、並且號稱訓練便宜之外,還有一個非常重要的特色,是它是開源的,讓任何人都能使用、甚至進行修改。
對我們一般使用者來說,這意味著在 OpenAI ChatGPT、Google Gemini 及 Microsoft Copilot 等美國科技大廠所提供的雲端 AI 服務之外,在本機端運行 DeepSeek 也成了一個可行的選項。不過,要在電腦上跑 AI 聽起來就是一件很複雜的事,一般人真的能做到嗎?其實出乎意外的簡單,大家只要有一台不太差的電腦,再跟著這篇文章的腳步,你也能在自己的電腦上執行先進的 AI 模型囉!不過首先…
👉DeepSeek 教學 | iPhone 離線使用 DeepSeek R1 AI,免費、安全、無限量!
👉DeepSeek 教學 | DeepSeek R1 macOS 安裝教學,M1 Mac 已經夠用?
為什麼要在自己的電腦上執行 AI 模型?
公平的說,無論是 OpenAI 的 ChatGPT、Google 的 Gemini 還是 Microsoft 的 Copilot,現在用起來都已經非常容易,不僅你的硬體好壞都不影響運行,而且很多時候除了文字之外,還能輸入圖片、文件、語音當作輸入,在使用上更有彈性。
不過,雲端上的模型也有不少限制,最明顯的一個當然就是它一定要連上網路才能使用,而且不論科技廠商如何掛保證,你其他也不知道輸入的資料是不是真的就沒有被科技公司拿去做訓練,因此比較私密的問題還是別在雲端發問比較安全。最後,目前最先進的模型已經開始收費,而且甚至有些運算力要求高的,還會有用量限制,在自己的電腦上跑就沒有這些問題囉。
我的電腦硬體要多好?
這個答案其實和遊戲有點像:比較差的硬體可能就要在模型的複雜度,或是運算的速度上有所犧牲,但就算是相當基本的電腦都有機會可以在本地端執行「蒸餾」(壓縮)過的小型版本,具體來說,硬體的好壞大概分成處理器、記憶體和儲存空間三個部份,各自影響模型的不同面向。
處理器 – 處理器直接影響了模型的輸出速度,雖然說光靠支援 AVX2 的 CPU 就能執行,但有一張獨立顯卡的話,運算的速度會快上非常多。本範例使用的 Ollama 支援的最低階 NVIDIA GPU 是 GeForce GTX750 Ti,大體上 GTX 900 世代以後的顯卡都能使用;而 AMD 則是 Radeon RX 6000 / 7000 系的多數顯卡都支援。具體清單可以參考這裡。
記憶體 – 記憶體的大小會影響了可以載入的模型大小,愈複雜的模型當然就會要愈多的記憶體才能使用。如果是使用 CPU 的話,建議需要 16GB 以上的記憶體;如果是使用 GPU 的話,那要看的是顯卡本身自帶的 VRAM 大小。由於消費型顯卡的 VRAM 大多比較有限,這反而會是在 PC 上運行 AI 模型最大的限制之一,使用中低階顯卡,或是較老的高階顯卡的話,要特別注意。
儲存空間 — 大型的模型除了會佔記憶體之外,還會佔去相當大的 SSD/硬碟空間。完整版的 DeepSeek-R1-671b 自身就會佔去 404GB 之譜,而壓縮後的版本則是在 1GB 到 40GB 不等,在開始之前,要先在系統磁碟留出足夠的空間喔 。
下載與安裝 Ollama
確認過硬體之後,我們就可以實際安裝了。這裡我們選擇的範例是使用 Ollama 軟體的 Windows 版本,該軟體也有 Mac 和 Linux 版本。
點擊 Download for Windows 按鍵
儲存並開啟 OllamaSetup.exe 安裝檔案
按下 Install 按鍵(似乎預設就是安裝到 C:)
開啟 CMD
安裝完之後,好像什麼也沒有發生,這是因為 Ollama 並沒有自己的圖型介面,而是使用 Windows 的命令提示字元(Command Prompt)來進行操作的。
在 Windows 的搜尋框輸入 cmd 或是 命令提示字元,然後開啟。
輸入 ollama 再按 enter,如果出現和上圖一樣的內容,就是安裝完成了
選擇模型
接下來,就是最重要的一步:選擇模型了。Ollama 的模型列表中,提供了相當多的模型可以選擇,這當中我們感興趣的當然是 DeepSeek-R1,但其實 Meta 的 llama、阿里巴巴的 qwen、Google 的 gemma 等,也都可以選擇。DeepSeek-R1 目前共分成 7 個版本,分別是完整的 671B,還有壓縮的 70B、32B、14B、8B、7B 及 1.5B。
這裡的「B」是十億個參數(Parameter)的略稱,也就是說完整版的 R1 有 6,710 億個參數,而最小的 1.5B 則是有 15 億個參數。參數愈少對於運算力和記憶體的要求就愈小,同時也比較不佔空間,但在思考的廣度和輸出結果的合適性、正確性上,就有可能會打一點折扣。
至於哪一個模型比較合適,由於每個人的電腦硬體配置的組合都不太一樣,以及每個人對運算花費時間的容忍度也不一樣,因此這裡也無法給太具體的建議。大致上來說,除非你有工作站級別的顯卡等極高檔的硬體設備,不然 32B 以上的模型應該都會相當吃力。一般擁有中高階獨立顯卡的 PC 可以嘗試由 14B 開始、低階獨顯可以考慮由 8B 開始、而沒有獨顯的話則可以保守點由 1.5B 開始,之後可以再根據實際的執行狀況,升級或降級模型。這裡通常會先碰到的瓶頸都是記憶體,最理想的狀況當然是使用顯卡自帶的 VRAM,存取速度最快。如果不足的話,Ollama 會使用系統的主記憶體來補足,但這就會影響運算速度了。
選擇好模型後,在命令提示字元裡輸入以下的對應指令:
1.5B(佔用約 1.1GB 儲存空間) – ollama run deepseek-r1:1.5b
7B(佔用約 4.7GB 儲存空間) – ollama run deepseek-r1:7b
8B(佔用約 4.9GB 儲存空間) – ollama run deepseek-r1:8b
14B(佔用約 9GB 儲存空間) – ollama run deepseek-r1:14b
32B(佔用約 20GB 儲存空間) – ollama run deepseek-r1:32b
70B(佔用約 43GB 儲存空間) – ollama run deepseek-r1:70b
671B(佔用約 404GB 儲存空間) – ollama run deepseek-r1:671b
Ollama 就會去確認電腦上是否有對應的模型,沒有的話它就會自動去下載最新的版本,相當聰明呢。
大功告成!
下載完成後,應該會出現「>>> Send a message (/? for help)」的提示,這就表示模型已經安裝完成,你可以像在使用 ChatGPT 那樣,輸入任何的提示文字,並開始與 DeepSeek-R1 交流。想要離開模型的話,輸入 /bye 就可以了。
另外,在命令提示下(不是在模型中)可以使用以下的指令來操作模型的安裝:
執行已安裝的模型 - ollama run [模型名稱]
列出所有已安裝的模型 – ollama list
移除已安裝的模型 – ollama rm [模型名稱]
祝大家都玩得愉快喔!
緊貼最新科技資訊、網購優惠,追隨 Yahoo Tech 各大社交平台!
🎉📱 Tech Facebook:https://www.facebook.com/yahootechhk
🎉📱 Tech Instagram:https://www.instagram.com/yahootechhk/
🎉📱 Tech WhatsApp 社群:https://chat.whatsapp.com/Dg3fiiyYf3yG2mgts4Mii8
🎉📱 Tech WhatsApp 頻道:https://whatsapp.com/channel/0029Va91dmR545urVCpQwq2D
🎉📱 Tech Telegram 頻道:https://t.me/yahootechhk