2024/6/12

text-generation : missing module transformers_stream_generator

要 load Qwen-1_8B-Chat 時,出現 Error, 說缺了 transformers_stream_generator,
因為是用 start_linux.sh 啟動,所以要找到他的 conda env 來安裝。
在 start_linux.sh 中有。
所以是
$ source ./installer_files/conda/etc/profile.d/conda.sh
$ conda ./installer_files/env
$ pip install transformer_stream_generator
之後run start_linux.sh,load Qwen-1_8B-Chat 時就沒有 Error 了。

另外,因為這是中國的mode,所以用簡體回答,有時候會出現 Error:
text_generation.py, line 260, in get_reply_from_output_ids
  first_token = first_token.decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode bytes in position 0-1: unexpected end of data
StackOverflow 說,decode 時,error handling 用 'ignore' 就可以。
所以去查 first_token 是 convert_ids_to_tokens( ) 的 return varlaibe. type 是 str。
所以去查 str.decode( ) 的宣告。
改成
  first_token.decode('utf8','ignore')
就可以了。

沒有留言:

張貼留言