* cline is having trouble... Cline uses complex prompts and iterative task execution that may be challenging for less capable models. For best results, it's recommended to use Claude 3.5 Sonnet for its advanced agentic coding capabilities.這是因為 context windows 不夠大 (default 是 4096)
而 cline 需要很大的 context window.
所以要修改 context window 才行。
ollama 可以用 /parameter 命令來修改。
但是 cline 啟動的 ollama model 沒辦法這樣做。
所以要用 Modelfile 修改 model 的 default config.
ref: 修改 ollama 內的 model 的方法,就寫一個 Modelfile,放進要修改的參數,然後用 ollama command create 一個新 mode.
例如:
$ cat Modelfile-deepseek FROM deepseek-r1:14b PARAMETER num_ctx 32768然後用 ollama command:
ollama create deepseek-r1:14b-32k -f Modelfile-deepseekcreate 完,用 ollama list 就可以看到 deepseek-r1:14b-32k 這個model
cline 改用這個 model,就不會有 Error 了。
但是要注意改num_ctx 改大之後,ollama load model 的 vram 也變大了。
以 deepseek-r1:14b 來看,num_ctx=4090 時,varm 是 10G
換成 num_ctx=32768 之後,vram 是 17G
other ref: num_ctx 是 model 可以記住的token 長度
num_predict 是 model 可以生成的 token 長度
沒有留言:
張貼留言