Ai Research Scraper

## 使用场景

- 当您需要快速了解AI领域最新产品动态时
- 当您想跟踪特定AI产品的发展信息时
- 当您需要获取AI技术发展的最新研究成果摘要时

## 支持的网站

当前支持的AI领域知名网站包括：
- TechCrunch AI板块
- VentureBeat AI板块
- MIT Technology Review AI板块
- Google AI Blog
- Microsoft AI Blog
- NVIDIA Blog

## 功能特点

- **数据量控制**：限制摘要长度，确保信息简洁
- **重点突出**：聚焦AI产品发展信息
- **链接完整**：每个摘要都包含原始网页链接
- **定时更新**：支持定期抓取最新信息
- **可配置性**：支持添加或修改目标网站
- **网络优化**：增加超时时间和重试机制，提高抓取成功率
- **缓存机制**：添加1小时缓存，避免重复抓取相同内容
- **稳定源**：优化网站列表，使用更稳定的AI领域网站源
- **备用搜索**：支持使用tavily-search技能替代，避免网络超时问题
- **简化处理**：暂时移除翻译功能，避免API错误和网络超时问题

## 使用方法

### 快速开始

使用默认配置抓取AI产品发展相关信息：

```bash
python3 /root/.openclaw/workspace/skills/ai-research-scraper/scripts/scraper.py
```

### 配置选项

#### 自定义网站列表

编辑 `references/websites.txt` 文件，添加或删除目标网站。每行格式：

```
网站名称|网站URL|RSS/Feed URL（可选）
```

#### 控制摘要长度

```bash
python3 /root/.openclaw/workspace/skills/ai-research-scraper/scripts/scraper.py --max-tokens 500
```

#### 指定时间范围

```bash
python3 /root/.openclaw/workspace/skills/ai-research-scraper/scripts/scraper.py --days 7
```

#### 指定主题重点

```bash
python3 /root/.openclaw/workspace/skills/ai-research-scraper/scripts/scraper.py --topic product-development
```

## 脚本和资源

### Scripts

- `scripts/scraper.py`: 主要的网页抓取和信息提取脚本
- `scripts/example.py`: 示例脚本（可删除或修改）

### References

- `references/websites.txt`: 包含要抓取的网站列表
- `references/api_reference.md`: API参考文档（待完善）

### Assets

- `assets/`: 资源文件夹（可用于存放模板或其他静态资源）