想不想在短短幾分鐘內(nèi)就擁有一個(gè)屬于自己、隨時(shí)能訪問(wèn)的私有免費(fèi)本地大模型？今天我就來(lái)手把手教大家。

首先，我們要下載 Ollama，這可是當(dāng)下最火的專門(mén)為本地運(yùn)行和部署開(kāi)源大模型而設(shè)計(jì)的神器。打開(kāi) Ollama 的官網(wǎng)，找到主頁(yè)上的 “download” 下載按鈕，點(diǎn)擊后會(huì)跳轉(zhuǎn)頁(yè)面，在這里選擇適合你系統(tǒng)的下載包，比如我用的是 Windows 系統(tǒng)，那就選 Windows 對(duì)應(yīng)的版本。下載完成后，點(diǎn)擊安裝包，按照步驟一步步完成安裝。

安裝好 Ollama 后，Windows 用戶可以通過(guò)在電腦下方搜索命令行，或者按下鍵盤(pán)上的 win+r 組合鍵，在彈出的框里輸入 “CMD” 并回車，別怕，彈出來(lái)的黑框框只是用來(lái)讀取和執(zhí)行我們輸入命令的地方。接著在終端輸入的命令 “Ollama run llama3”，這意思就是讓 Ollama 幫我們運(yùn)行 llama3 模型。這時(shí) Ollama 就會(huì)開(kāi)始下載模型了，默認(rèn)下載的是 8V 版本，而且即使沒(méi)有顯卡也能跑動(dòng)哦。等下載完成，就會(huì)看到相應(yīng)提示，這時(shí)候你已經(jīng)成功在本地運(yùn)行大模型了，可以直接開(kāi)始對(duì)話啦。要是想退出對(duì)話，按 ctrl+d 或者回復(fù) “bye” 就行。

如果還想試試其他模型，那就再回到 Ollama 官網(wǎng)，點(diǎn)擊右上角的 “models”，這里面幾乎涵蓋了所有前沿開(kāi)源大模型。比如我們想運(yùn)行最近登頂世界之最的阿里千問(wèn)大模型，只需點(diǎn)擊進(jìn)去，拷貝它的口令 “Ollama run qwen2”，然后在終端粘貼回車就搞定。

不過(guò)在終端聊天可能有點(diǎn)原始，所以我們?cè)賮?lái)下載一個(gè)本地運(yùn)行且類似 chatGPT 頁(yè)面操作界面的 Open WebUI。在這之前要先安裝 Docker，不用管 Docker 具體是什么，跟著它官網(wǎng)的步驟一步步安裝就行。安裝好并運(yùn)行 Docker 后，進(jìn)入命令行輸入特定命令（docker run -d -p 3000:8080 --add -host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open -webui/open-webui:main）來(lái)啟動(dòng) WebUI 操作界面。由于要遠(yuǎn)程下載一個(gè) 10G 的包，所以需要等待一會(huì)兒。如果命令成功執(zhí)行，會(huì)自動(dòng)打開(kāi)網(wǎng)頁(yè)頁(yè)面，要是沒(méi)自動(dòng)彈出，就手動(dòng)在瀏覽器輸入 “localhost:3000”，或者進(jìn)到 Docker 里點(diǎn)擊跳轉(zhuǎn)鏈接。現(xiàn)在就可以像普通 AI 客戶端那樣愉快地對(duì)話了，讀取網(wǎng)頁(yè)鏈接在前面加個(gè) “#” 號(hào)，上傳文件點(diǎn)擊對(duì)話框左邊的 “+” 號(hào)就行，還能在左上角打開(kāi)設(shè)置把界面改成中文，并在系統(tǒng)指令里設(shè)定讓它永遠(yuǎn)回復(fù)中文。

怎么樣，擁有一個(gè)運(yùn)行在自己電腦上隨時(shí)可訪問(wèn)的大模型就是這么簡(jiǎn)單！趕緊把 “簡(jiǎn)單” 打在公屏上吧。要是還想在外面也能隨時(shí)訪問(wèn)這個(gè)模型或者共享給朋友，后續(xù)教程會(huì)為大家解鎖，跟著我，輕松優(yōu)化 AI。記得點(diǎn)贊、收藏、關(guān)注哦！