Qwen3-Reranker-0.6B 使用指南
本项目基于 ai-engine-direct-helper (QAI_AppBuilder)
https://github.com/quic/ai-engine-direct-helper.git
模型下载地址 (包含对应的上下文二进制文件)
https://www.aidevhome.com/?id=51
简介
本文档旨在为开发者提供部署和使用 Qwen3-Reranker-0.6B 模型进行文本重排与相关性判定的详细操作指南。文档涵盖了从 Python 环境准备、模型下载与配置，到环境依赖安装及最终的推理测试流程。
1. 安装 Python 3.12 AMD 版本
在运行模型前，首先需要安装兼容的 Python 环境。请确保下载并安装 Python 3.12 的 AMD64 (Windows x86-64) 版本。
提示: 安装 Python 时，请务必勾选 Add Python to PATH 选项，以便在命令行中能够直接调用 Python 及 pip 命令。
2. 下载并解压模型
获取 Qwen3-Reranker-0.6B 模型文件后，请先将压缩包解压到您指定的本地工作目录。解压完成后，打开命令提示符（CMD）或 PowerShell，并使用 cd 命令切换到该模型目录下。
cd /d 您的模型解压目录路径
3. 安装环境并验证
3.1 安装环境
在已进入的模型目录中，请依次运行以下命令来安装相关的运行时依赖。建议先安装 QAI AppBuilder 的底层库，然后再安装其余的环境依赖。
pip install qai_appbuilder-2.38.0-cp312-cp312-win_amd64.whl
# 2. 再安装其他依赖
pip install -r requirements.txt
3.2 进行测试
环境配置完成后，您可以通过运行演示脚本来验证重排模型是否工作正常。测试会同时验证相关文档和不相关文档的评分及推理耗时。
执行测试命令：
python demo.py
输出日志分析：
测试 1 输入查询: "What is the capital of China?" 输入文档: "The capital of China is Beijing." 模型输出: Yes. 判定分数: 1.0 ✓ 正确 推理耗时: 0.087s 测试 2 输入查询: "Explain gravity" 输入文档: "Gravity is a force that attracts two bodies towards each other. It gives weight to physical objects and is responsible for the movement of planets around the sun." 模型输出: yes\nyes\nyes\nyes\nyes (重复5次) 判定分数: 1.0 ✓ 正确 推理耗时: 0.185s 📊 不相关文档测试（应该回答 "no"） 测试 3 输入查询: "What is the capital of China?" 输入文档: "Random nonsense string xyz 123 !!!" 模型输出: No\n\nNo\n\nNo\n\nNo\n\nNo (重复5次) 判定分数: 0.0 ✓ 正确 推理耗时: 0.185s 测试 4 输入查询: "Explain gravity" 输入文档: "The recipe for chocolate cake requires flour, sugar, and cocoa powder." 模型输出: no 判定分数: 0.0 ✓ 正确 推理耗时: 0.080s