LLaVA : install and run

ref:

• LLaVA: Large Language and Vision Assistant

因為要上傳/顯示 img，所以不能用text-generation，這邊的demo 是用gradio
整個架構就像示意圖說明。有三個component:

• web ui : 負責 web interface
• controller : 負責把 llava 的query/response 轉成 api
• worker : 就是 llava 本體

然後 worker 又有兩種選擇: 一個就是 llava 自己，一個是 SGlang worker 轉接。
SGLang 轉接的好處是 ?


前面 web ui, controller 都是 gradio，只有 worker 是 llava 服務本體。
所以依照說明，create conda env，clone LLaVA ....之後..
文件說明是用 pin install . 把 llava 跟 gradio 安裝進 evn.
-e 是為了之後可以 update

然後要 download model checkpoint : LLaVA MODEL ZOO 例如:

git clone https://huggingface.co/liuhaotian/llava-v1.6-mistral-7b

然後啟動 controller:

conda activate llava
cd LLaVA
python -m llava.serve.controller --host 0.0.0.0 --port 10000

開啟web ui

conda activate llava
cd LLaVA
python -m llava.serve.gradio_web_server --controller http://localhost:10000 --model-list-mode reload

最後啟動 llava worker，指定 download 的 model checkout folder:

conda activate llava
cd LLaVA
python -m llava.serve.model_worker --host 0.0.0.0 --controller http://localhost:10000 --port 40000 --worker http://localhost:40000 --model-path ../llava-v1.6-mistral-7b