Phi-3.5-mini-instruct 模型本地部署与网页端部署问题

jin.li_c · 发表于 2025-6-5 16:45:03

本帖最后由 jin.li_c 于 2025-6-5 19:10 编辑

使用设备及环境：
Snapdragon® X Elite
python 3.12.8

根据gitub文档ai-hub-apps进行环境配置
1.下载aihub上面Phi-3.5-mini-instruct模型文件
2.huggingface下载config.json以及进行HTP后端配置
本地部署

在回答问题会进行许多发散回答，速度是3.221608 toks/sec
网页端部署速度是9.53toks/sec

		自动登录	找回密码
密码			立即注册

Phi-3.5-mini-instruct 模型本地部署与网页端部署问题

本帖子中包含更多资源