|
|
--- |
|
|
title: agent.wang score |
|
|
emoji: 🌍 |
|
|
colorFrom: green |
|
|
colorTo: indigo |
|
|
sdk: gradio |
|
|
sdk_version: 5.44.1 |
|
|
app_file: app.py |
|
|
pinned: false |
|
|
license: gpl-3.0 |
|
|
--- |
|
|
|
|
|
# 王艾卷智能体评分系统 agent.wang |
|
|
|
|
|
## 项目介绍 |
|
|
|
|
|
`agent.wang 王艾卷智能体评分系统` 是一款基于百度千帆 ERNIE-4.5-Turbo-VL 多模态大模型开发的智能体评估工具。该系统能够对智能体网页截图进行自动化分析，从多个维度进行评分并拆解智能体能力，为开发者和产品经理提供客观、全面的智能体评估报告。 |
|
|
|
|
|
## 功能特点 |
|
|
|
|
|
- **多维度评分**：从整体评价、设计美感、易用性、功能完整性和响应式设计五个维度进行1-10分制评分 |
|
|
- **能力拆解**：自动识别智能体的核心功能、优势、劣势、潜在用途和改进方向 |
|
|
- **结构化输出**：提供JSON格式原始数据和可视化解析结果，方便查看和进一步处理 |
|
|
- **结果保存**：自动将分析结果保存为JSON文件，便于归档和对比分析 |
|
|
- **错误处理**：完善的错误提示和处理机制，帮助用户快速定位和解决问题 |
|
|
|
|
|
## 环境要求 |
|
|
|
|
|
- Python 3.8+ |
|
|
- openai 库 |
|
|
|
|
|
## 安装步骤 |
|
|
|
|
|
1. 克隆或下载项目代码到本地 |
|
|
2. 安装依赖库： |
|
|
```bash |
|
|
pip install openai |
|
|
``` |
|
|
|
|
|
## 百度API密钥获取 |
|
|
|
|
|
1. 访问百度智能云API密钥管理页面：https://console.bce.baidu.com/iam/#/iam/apikey/list |
|
|
2. 登录百度账号（未注册用户需先完成注册和实名认证） |
|
|
3. 点击"创建Access Key"生成API密钥 |
|
|
4. 确保已开通千帆大模型服务（新用户可领取免费调用额度） |
|
|
|
|
|
## 使用指南 |
|
|
|
|
|
1. 准备一张智能体网页的截图，保存为PNG或JPG格式 |
|
|
2. 打开`ernie_analysis_with_parsing.py`文件，修改配置参数： |
|
|
```python |
|
|
API_KEY = "您的百度智能云Access Key" # 替换为实际API密钥 |
|
|
IMAGE_PATH = "demo.png" # 替换为您的截图路径 |
|
|
OUTPUT_FILE = "analysis_result.json" # 结果保存文件名 |
|
|
``` |
|
|
3. 运行脚本： |
|
|
```bash |
|
|
python ernie_analysis_with_parsing.py |
|
|
``` |
|
|
4. 查看结果： |
|
|
- 控制台将显示原始JSON数据和解析后的结构化结果 |
|
|
- 分析结果同时会保存到指定的JSON文件中 |
|
|
|
|
|
## 输出结果说明 |
|
|
|
|
|
### 控制台输出 |
|
|
|
|
|
1. **原始JSON结果**：完整展示模型返回的结构化数据，包含页面评分和智能体能力拆解的全部信息 |
|
|
2. **解析后的结果**：格式化展示分析结果，包括： |
|
|
- 页面评分：各维度得分及评论 |
|
|
- 智能体能力拆解：核心功能、优势、劣势、潜在用途、改进方向和详细分析 |
|
|
|
|
|
### JSON文件输出 |
|
|
|
|
|
分析结果会保存到指定的JSON文件中，可用于： |
|
|
- 结果归档和版本对比 |
|
|
- 导入其他工具进行进一步分析 |
|
|
- 集成到报告生成系统 |
|
|
|
|
|
## 常见问题 |
|
|
|
|
|
### API密钥相关问题 |
|
|
|
|
|
- **Q: 提示"API密钥验证失败"怎么办？** |
|
|
A: 检查API_KEY是否正确填写，确保没有多余空格；确认百度智能云账号已完成实名认证并开通千帆大模型服务；检查账号是否有可用的调用额度。 |
|
|
|
|
|
### 图像相关问题 |
|
|
|
|
|
- **Q: 提示"未找到图像文件"如何解决？** |
|
|
A: 检查IMAGE_PATH是否正确，确保路径中包含正确的文件名和扩展名；如果使用相对路径，确认图像文件与脚本在同一目录下。 |
|
|
|
|
|
### 结果解析问题 |
|
|
|
|
|
- **Q: 模型返回结果格式异常怎么办？** |
|
|
A: 系统已内置格式清理功能，会自动处理常见的格式问题。如果仍解析失败，可尝试重新运行脚本。 |
|
|
|
|
|
## 自定义扩展 |
|
|
|
|
|
### 调整评分维度 |
|
|
|
|
|
如需增加或修改评分维度，可修改脚本中messages里的文本内容，例如： |
|
|
"text": "请分析这张智能体网页的截图，并完成以下任务：\n\ |
|
|
1. 页面评分（每项1-10分，并给出简短评论）：\n\ |
|
|
- 整体评价（overall）\n\ |
|
|
- 设计美感（design）\n\ |
|
|
- 易用性（usability）\n\ |
|
|
- 功能完整性（functionality）\n\ |
|
|
- 响应式设计（responsiveness）\n\ |
|
|
- 安全性（security）\n # 新增维度\ |
|
|
..." |
|
|
### 修改输出文件路径 |
|
|
|
|
|
如需将结果保存到指定路径，可修改OUTPUT_FILE参数： |
|
|
OUTPUT_FILE = "D:/reports/agent_analysis_202409.json" # 绝对路径 |
|
|
## 注意事项 |
|
|
|
|
|
- 使用前请确保已阅读并遵守百度智能云的服务协议 |
|
|
- 合理使用API调用额度，避免不必要的频繁调用 |
|
|
- 对于敏感页面截图，请确保已获得必要的授权 |
|
|
|
|
|
## 联系方式 |
|
|
|
|
|
### 如有任何问题或建议，请联系项目维护团队。 |
|
|
### url: https://agent.wang |
|
|
### exmail: zhl@agent.wang |
