2025/2/15

modify ollama model for cline

cline 使用 ollama 的話,有些 model 會一直 repeat 說過的話,然後出現Error.例如 deepseek-r1:14b
* cline is having trouble...

Cline uses complex prompts and iterative task execution that 
may be challenging for less capable models. For best results, 
it's recommended to use Claude 3.5 Sonnet for its advanced 
agentic coding capabilities.
這是因為 context windows 不夠大 (default 是 4096)
而 cline 需要很大的 context window.

所以要修改 context window 才行。

ollama 可以用 /parameter 命令來修改。
但是 cline 啟動的 ollama model 沒辦法這樣做。
所以要用 Modelfile 修改 model 的 default config.

ref: 修改 ollama 內的 model 的方法,就寫一個 Modelfile,放進要修改的參數,然後用 ollama command create 一個新 mode.
例如:
$ cat Modelfile-deepseek 
FROM deepseek-r1:14b

PARAMETER num_ctx 32768
然後用 ollama command:
ollama create deepseek-r1:14b-32k -f Modelfile-deepseek
create 完,用 ollama list 就可以看到 deepseek-r1:14b-32k 這個model

cline 改用這個 model,就不會有 Error 了。


但是要注意改num_ctx 改大之後,ollama load model 的 vram 也變大了。
以 deepseek-r1:14b 來看,num_ctx=4090 時,varm 是 10G
換成 num_ctx=32768 之後,vram 是 17G


other ref: num_ctx 是 model 可以記住的token 長度
num_predict 是 model 可以生成的 token 長度

沒有留言:

張貼留言