Phi-3.5-mini-instruct 模型本地部署与网页端部署问题

jin.li_c

使用设备及环境：
Snapdragon® X Elite
python 3.12.8

根据gitub文档ai-hub-apps进行环境配置
1.下载aihub上面Phi-3.5-mini-instruct模型文件
2.huggingface下载config.json以及进行HTP后端配置
本地部署

在回答问题会进行许多发散回答，速度是3.221608 toks/sec
网页端部署速度是9.53toks/sec