Qwen2 7B SSD 使用教程


第一部分:基础环境安装

在开始之前,请确保您的系统中已安装以下核心软件。如果您已经安装,可以跳至第二部分。

1.1 安装 Python 3.12

目的: 本项目依赖 Python 3.12 版本。QAI AppBuilder 的预编译包 (.whl) 也是针对此版本构建的。

  1. 下载安装程序:

  2. 执行安装:

    • 运行下载的 .exe 文件。

    • 关键步骤: 在安装界面的第一页,务必勾选 “Add Python 3.12 to PATH” 选项。

    • 然后点击 “Install Now” 并按照默认设置完成安装。

1.2 安装 Git

目的: Git 是用于从 GitHub 克隆(下载)项目源代码的版本控制工具。

  1. 下载安装程序:

  2. 执行安装:

    • 运行下载的 .exe 文件,在安装过程中使用默认选项(一路点击 “Next”)即可。


第二部分:项目设置与依赖安装

环境准备就绪后,我们将开始创建项目环境、下载代码并安装所有必需的库。

2.1 创建并激活 Python 虚拟环境

目的: 使用虚拟环境可以为本项目创建一个独立、隔离的 Python 环境,避免与系统中其他项目产生依赖冲突,是一种良好的开发习惯。

  1. 打开 Windows 终端:

    • 使用快捷键 Windows + X,选择 “终端 (管理员)”

  2. 创建并激活虚拟环境:

    python -m venv genie
    .\genie\Scripts\activate

    注意: 后续所有命令都应在这个已激活的虚拟环境中执行。如果关闭了终端,下次需要重新进入此目录并执行激活命令。

2.2 安装 QAI AppBuilder

  1. 下载 QAI AppBuilder 包:

    • qai_appbuilder-2.34.0-cp312-cp312-win_amd64.whl (适用于 Intel/AMD 64位 CPU)

    • 访问项目的 GitHub Releases 页面:

    • 下载页面链接:AI Engine Direct Helper Releases

    • 在页面中找到版本号为 2.34.0 的发布项,从中下载与您系统和 Python 版本匹配的 .whl 文件。对于大多数标准 Windows 电脑,您应该选择:

    • 将下载的 .whl 文件放置到您方便访问的目录。

  2. 安装 .whl 文件:

    • 确保您的虚拟环境已激活,然后使用 pip 安装该文件。

      # 确保路径正确
      pip install .\qai_appbuilder-2.34.0-cp312-cp312-win_amd64.whl

2.3 安装核心 Python 依赖项

目的: 为项目安装所有必需的第三方库,如 Web 框架、AI 模型库等。

  • 在已激活虚拟环境的终端中,运行以下命令一次性安装所有依赖。

    pip install uvicorn py3-wget pydantic_settings fastapi langchain langchain_core langchain_community sse_starlette ^
    pypdf python-pptx docx2txt openai requests wget tqdm importlib-metadata qai-hub qai_hub_models huggingface_hub ^
    Pillow numpy opencv-python torch torchvision torchaudio transformers diffusers basicsr ultralytics==8.0.193 gradio==5.30.0
  • 注意:
    • 此过程会下载大量数据,请确保网络连接稳定,并耐心等待其完成。


第三部分:项目代码部署与运行

3.1 下载 QAI AppBuilder 示例代码

  1. 克隆代码仓库:

    • 在您的工作目录中,运行以下命令克隆包含所有示例代码的主仓库。--recursive 参数至关重要,它会一并下载项目依赖的子模块。

      git clone https://github.com/quic/ai-engine-direct-helper.git --recursive
  2. (可选)更新代码:

    • 如果您之前已经克隆过此仓库,可以进入项目目录并运行以下命令来更新到最新版本:

      cd ai-engine-direct-helper
      git pull --recurse-submodules

3.2 运行项目初始化脚本

目的: 此脚本会进一步配置环境。

  1. 进入文件目录并运行脚本:

    cd ai-engine-direct-helper\samples
    python python\setup.py

3.3 放置 Qwen 模型文件

目的: 将预先准备好的 Qwen 模型文件放置到项目指定的目录中。

  1. 准备模型文件:

  2. 替换目标文件夹:

    • 将您的 Qwen2.0-7B-SSD 文件夹解压复制或移动到以下目标路径:
      ai-engine-direct-helper\samples\genie\python\models\

    • 如果系统提示目标位置已存在同名文件夹,请选择 “替换目标中的文件”。

3.4 启动 Genie WebUI

所有准备工作就绪,现在可以启动聊天机器人 Web 界面了。

  1. 运行启动脚本:

    • 请确保您当前的终端路径位于 ai-engine-direct-helper\samples 目录下。

    • 执行以下命令:

      python webui\GenieWebUI.py
  2. 访问 Web 界面:

    • 启动成功后,终端会显示类似如下的信息:
      Running on local URL: http://127.0.0.1:8976 (端口号可能会变化)

    • 在您的浏览器中打开终端显示的 URL (例如 http://127.0.0.1:8976),即可看到 Genie 聊天的界面。

    • 选择加载的Qwen模型

    • 等待模型加载成功进行对话