最新的更新支援 local ollama 了,所以來試試看。
原來 這個 extension 的說明文件都在github : doc: overview
要使用 ollama 的話,首先當然要 setup 好自己的 ollama service (ref:ollama run llama locally)
記得要對 local ip 開放。
ai toolkit 設定部分,在安裝完後,VS Code 左邊 panel 會多一個 item,ai toolkit item,
最上面,My Models 右邊的 "+" 按下去,會出現 Add remote model (1/4),意思是有四個步驟,現在做第一步。
第一步是設定 ollama url,我的就是
http://192.168.145.64:11434/v1/chat/completionsEnter 後,第二步,要 load 的 model name。
這部分,到 ollama sever 上,用 ollama list 列出,挑出要load 的 model name,要全名。
qwen2.5-coder:14bEnter 後第三步是名子,給這格 model setup 的name,隨便。
最後一步是authetication key,ollama 不需要,所以 Enter w就可以。
ollama 0.5.11 之後 systemd default 對 127.0.0.1,要對外的話,ollama.service 要增加一行:
Environment="OLLAMA_HOST=0.0.0.0:11434"不寫 port 的話不行。
可以用剛啟動的 systemctl status 來看,會有:
level=INFO source=routes.go:1237 msg="Listening on [::]:11434 (version 0.5.11)"沒有的話,就會是 127.0.0.1:11434
cline
這個應該是最多人用的了。
裝完後左邊欄位會有機器人頭的符號,按下去出現cline 介面,在設定部分選 ollama 的 url (port 13414 哪個),然後他就會去update model list
ollama 中有些 model 會有 cline 在後面。這是有為了cline 做修改的。
例如deepseek-r1-roo-cline-cline-tools。
cline 用 ollama model 時,要做一些 model 的修改,因為 cline 會用很多token 在 context 中,
而ollama default 的context windows size 是 4096,
又因為 cline 沒辦法在叫ollam load model 時修改 context window,所以就要修改 model 的 parameter,
可以參考這一篇的做法,寫一個 Modelfile,重新叫 ollama create model.
沒有留言:
張貼留言