run llm on 6 TOPS Soc

• testing ai and llm on rockchip rk3588

使用 GPU

• 香橙派5部署chatglm2
• 香橙派5部署chatglm2-6b模型
• 香橙派5部署chatglm2

一般，使用TVM

• A卡跑大模型，性能达到4090的80%（价格只有一半）：陈天奇TVM团队出品
• Talk | 卡内基梅隆大博士生侯博涵：MLC-LLM-机器学习编译与在大语言模型上的应用
• 利用GPU加速，在Orange Pi上跑LLMs