Qwen2 7B SSD 使用教程
第一部分:基础环境安装
在开始之前,请确保您的系统中已安装以下核心软件。如果您已经安装,可以跳至第二部分。
1.1 安装 Python 3.12
目的: 本项目依赖 Python 3.12 版本。QAI AppBuilder 的预编译包 (.whl) 也是针对此版本构建的。
下载安装程序:
访问 Python 官方网站下载 3.12.8 版本的 Windows 安装程序:
执行安装:
运行下载的 .exe 文件。
关键步骤: 在安装界面的第一页,务必勾选 “Add Python 3.12 to PATH” 选项。
然后点击 “Install Now” 并按照默认设置完成安装。
1.2 安装 Git
目的: Git 是用于从 GitHub 克隆(下载)项目源代码的版本控制工具。
下载安装程序:
访问 Git 官网下载页面:
执行安装:
运行下载的 .exe 文件,在安装过程中使用默认选项(一路点击 “Next”)即可。
第二部分:项目设置与依赖安装
环境准备就绪后,我们将开始创建项目环境、下载代码并安装所有必需的库。
2.1 创建并激活 Python 虚拟环境
目的: 使用虚拟环境可以为本项目创建一个独立、隔离的 Python 环境,避免与系统中其他项目产生依赖冲突,是一种良好的开发习惯。
打开 Windows 终端:
使用快捷键
Windows + X
,选择 “终端 (管理员)”。创建并激活虚拟环境:
python -m venv genie .\genie\Scripts\activate
注意: 后续所有命令都应在这个已激活的虚拟环境中执行。如果关闭了终端,下次需要重新进入此目录并执行激活命令。
2.2 安装 QAI AppBuilder
下载 QAI AppBuilder 包:
qai_appbuilder-2.34.0-cp312-cp312-win_amd64.whl
(适用于 Intel/AMD 64位 CPU)访问项目的 GitHub Releases 页面:
在页面中找到版本号为
2.34.0
的发布项,从中下载与您系统和 Python 版本匹配的.whl
文件。对于大多数标准 Windows 电脑,您应该选择:将下载的
.whl
文件放置到您方便访问的目录。安装 .whl 文件:
确保您的虚拟环境已激活,然后使用
pip
安装该文件。# 确保路径正确 pip install .\qai_appbuilder-2.34.0-cp312-cp312-win_amd64.whl
2.3 安装核心 Python 依赖项
目的: 为项目安装所有必需的第三方库,如 Web 框架、AI 模型库等。
在已激活虚拟环境的终端中,运行以下命令一次性安装所有依赖。
pip install uvicorn py3-wget pydantic_settings fastapi langchain langchain_core langchain_community sse_starlette ^ pypdf python-pptx docx2txt openai requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub ^ Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers basicsr ultralytics==8.0.193 gradio==5.30.0
注意:
此过程会下载大量数据,请确保网络连接稳定,并耐心等待其完成。
第三部分:项目代码部署与运行
3.1 下载 QAI AppBuilder 示例代码
克隆代码仓库:
在您的工作目录中,运行以下命令克隆包含所有示例代码的主仓库。
--recursive
参数至关重要,它会一并下载项目依赖的子模块。git clone https://github.com/quic/ai-engine-direct-helper.git --recursive
(可选)更新代码:
如果您之前已经克隆过此仓库,可以进入项目目录并运行以下命令来更新到最新版本:
cd ai-engine-direct-helper git pull --recurse-submodules
3.2 运行项目初始化脚本
目的: 此脚本会进一步配置环境。
进入文件目录并运行脚本:
cd ai-engine-direct-helper\samples python python\setup.py
3.3 放置 Qwen 模型文件
目的: 将预先准备好的 Qwen 模型文件放置到项目指定的目录中。
准备模型文件:
点击下载模型https://www.aidevhome.com/data/adh2/models/8380/qwen2_7b_ssd.zip。
在
Qwen2.0-7B-SSD
的文件夹,其中包含了模型的所有权重和配置文件。替换目标文件夹:
将您的
Qwen2.0-7B-SSD
文件夹解压复制或移动到以下目标路径:ai-engine-direct-helper\samples\genie\python\models\
如果系统提示目标位置已存在同名文件夹,请选择 “替换目标中的文件”。
3.4 启动 Genie WebUI
所有准备工作就绪,现在可以启动聊天机器人 Web 界面了。