justao

Url Reader

資料分析v0.1.1
作者:justao更新於 2026-05-17共 2 個版本 · 最新版本釋出於 2026-02-13url-reader@clawhub_justao/url-reader
資料清洗網頁抓取#小红书#微信#抖音

據 AlphaMoat 統計,截至 2026-10,Url Reader 累計下載 13,469 次、獲 15 個星標,按累計下載量在本次參與排名的 10,914 個 AI 技能中排名第 2,068 位,在「資料分析」分類(915 個)中排名第 203 位。

列表預設按累計下載量排序,也可按星標排序;詳情頁排名按累計下載量計算。

累計下載
1.3萬
星標
15
全站下載量排名
#2,068
全站前 19% · 「資料分析」前 23%
平台累計下載星標評論
ClawHub ↗36422-
SkillHub ↗1.3萬15—

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

技能自動識別連結所屬平台,按 Firecrawl、Jina、Playwright 三層策略逐級降級抓取,再把正文儲存為 Markdown、把圖片下載到本地。它宣告支援微信公眾號、小紅書、今日頭條、抖音與主流電商等平台。 僅使用獲授權存取的連結;擷取的頁面與圖片可能不完整,儲存或分享前請檢查。

資料釋出於 2026-10-29

可以用來做什麼

  • 把一篇公眾號文章連同配圖儲存成本地素材
  • 批次讀取多個平台的連結並整理成 Markdown 歸檔

什麼時候用

  • 連結內容需要長期留存而不是隻看一次時
  • 同一個連結在不同抓取方式下表現不穩定時

示例提示詞

以下是根據技能文件生成的示例,不代表實際執行結果。

把這個連結的正文和圖片都儲存下來,並告訴我最終用了哪一層抓取策略
同一批連結分別來自公眾號和小紅書,幫我統一整理成 Markdown 目錄

月度資料趨勢

累計下載1.3萬
311986781.4萬2026-03 · 累計下載 38862026-05 · 累計下載 55142026-06 · 累計下載 58142026-07 · 累計下載 61472026-08 · 累計下載 63432026-09 · 累計下載 73852026-10 · 累計下載 1.3萬26-0326-0926-10
星標15
29162026-03 · 星標 32026-05 · 星標 102026-06 · 星標 122026-07 · 星標 132026-08 · 星標 152026-09 · 星標 152026-10 · 星標 1526-0326-0926-10

2026-09 起統計方法調整:同名技能按作者分別統計,並覆蓋全部技能。圖中虛線為調整前的月份,與之後的資料不直接比較,也不計算跨越調整的增長。

月份累計下載環比星標
2026-101.3萬—15
2026-097385—15
2026-086343+3.2%15
2026-076147+5.7%13
2026-065814+5.4%12
2026-055514—10
2026-033886—3

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-10-23。

8.4 KB · ClawHub v0.1.1
---
name: url-reader
description: 智能读取任意URL内容,支持微信公众号、小红书、今日头条、抖音、淘宝、天猫、京东、百度等中国主流平台,自动识别平台类型并提取核心内容。自动保存内容为Markdown,下载图片到本地。
---

# URL Reader - 智能网页内容读取器

一键读取任意URL的内容,自动识别平台类型,智能选择最佳读取策略,**自动保存内容和图片到本地**。

## 默认保存目录
展開全部(共 259 行)

```
/Users/ys/laoyang知识库/nickys/素材/
```

保存格式:
```
素材/
└── 2026-01-30_文章标题/
    ├── content.md      # Markdown内容
    ├── img_01.webp     # 图片1
    ├── img_02.webp     # 图片2
    └── ...
```

## 核心技术方案

### 三层读取策略(自动降级)

```
┌─────────────────────────────────────────────────────────────────┐
│                     URL Reader 技术架构                          │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  用户输入 URL                                                    │
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 平台识别器   │ → 识别URL所属平台(微信/小红书/淘宝等)           │
│  └─────────────┘                                                │
│       ↓                                                         │
│  ┌─────────────────────────────────────────────────────────────┐│
│  │                    策略选择器                                ││
│  │  ┌───────────┐  ┌───────────┐  ┌───────────┐               ││
│  │  │ 策略1     │  │ 策略2     │  │ 策略3     │               ││
│  │  │ Firecrawl │→│ Jina      │→│ Playwright │               ││
│  │  │ (首选)    │  │ (备选)    │  │ (兜底)    │               ││
│  │  └───────────┘  └───────────┘  └───────────┘               ││
│  └─────────────────────────────────────────────────────────────┘│
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 内容提取器   │ → 提取标题、正文、作者、时间等                   │
│  └─────────────┘                                                │
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 格式化输出   │ → Markdown 格式                                │
│  └─────────────┘                                                │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘
```

### 策略1:Firecrawl API(首选)

**特点**:
- AI 驱动的网页抓取
- 自动处理 JavaScript 渲染
- 自动绕过反爬机制
- 直接返回干净的 Markdown
- 支持 96% 的网站

**API 调用**:
```python
from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape(url, formats=["markdown"])
```

**定价**:
- 免费:500 页/月
- 付费:按量计费

### 策略2:Jina Reader API(备选)

**特点**:
- 完全免费
- 无需 API Key
- 支持动态渲染
- 返回 Markdown 格式

**使用方式**:
```
https://r.jina.ai/{原始URL}
```

### 策略3:Playwright 浏览器自动化(兜底)

**特点**:
- 支持登录态保持
- 可处理任何网站
- 需要首次手动登录

**适用场景**:
- 微信公众号(需要登录)
- 需要登录的平台
- 前两种策略都失败时

## 使用方式

### 方式1:直接对话

```
用户:帮我读取这个链接 https://mp.weixin.qq.com/s/xxxxx
用户:看看这个小红书 https://www.xiaohongshu.com/explore/xxxxx
用户:读一下这个网页 https://example.com/article
```

### 方式2:命令行调用

```bash
/url-reader https://example.com/article
```

## 支持的平台

| 平台 | 域名 | 推荐策略 | 备注 |
|------|------|----------|------|
| 微信公众号 | mp.weixin.qq.com | Firecrawl → Playwright | 可能需要登录 |
| 小红书 | xiaohongshu.com | Firecrawl → Jina | 短链接需解析 |
| 今日头条 | toutiao.com | Firecrawl → Jina | - |
| 抖音 | douyin.com | Firecrawl | 提取视频描述 |
| 淘宝 | taobao.com | Firecrawl → Playwright | 可能需要登录 |
| 天猫 | tmall.com | Firecrawl → Playwright | 可能需要登录 |
| 京东 | jd.com | Firecrawl → Jina | - |
| 百度 | baidu.com | Firecrawl → Jina | - |
| 知乎 | zhihu.com | Firecrawl → Jina | - |
| 微博 | weibo.com | Firecrawl → Playwright | 可能需要登录 |
| B站 | bilibili.com | Firecrawl → Jina | - |
| 通用网站 | * | Firecrawl → Jina | - |

## 工作流程

```
1. 接收 URL
2. 识别平台类型
3. 选择读取策略:
   ├─ 尝试 Firecrawl API
   │   ├─ 成功 → 返回内容
   │   └─ 失败 → 继续
   ├─ 尝试 Jina Reader
   │   ├─ 成功 → 返回内容
   │   └─ 失败 → 继续
   └─ 尝试 Playwright(需要登录态)
       ├─ 有登录态 → 读取内容
       └─ 无登录态 → 提示用户设置
4. 提取核心内容
5. 格式化输出
```

## 输出格式

```markdown
# [文章标题]

**来源**:[平台名称]
**作者**:[作者名称]
**发布时间**:[时间]
**原文链接**:[URL]

---

[正文内容]

---

**互动数据**(如有):
- 阅读/播放:xxx
- 点赞:xxx
- 评论:xxx
```

## 配置说明

### Firecrawl API Key 配置

1. 访问 https://www.firecrawl.dev/ 注册账号
2. 获取 API Key
3. 配置环境变量:
   ```bash
   export FIRECRAWL_API_KEY="fc-YOUR_API_KEY"
   ```

### Playwright 登录态设置(可选)

用于需要登录的平台(如微信公众号):

```bash
cd ~/.claude/skills/url-reader
source .venv/bin/activate
python scripts/wechat_reader.py setup
```

## 目录结构

```
url-reader/
├── skill.md              # 本文档
├── metadata.json         # 元数据
├── scripts/
│   ├── url_reader.py     # 主读取器(整合三种策略)
│   ├── firecrawl_reader.py   # Firecrawl 策略
│   ├── jina_reader.py        # Jina 策略
│   ├── wechat_reader.py      # Playwright 策略(微信)
│   └── url_identifier.py     # URL 平台识别器
└── data/
    └── wechat_auth.json  # 微信登录态(自动生成)
```

## 依赖安装

```bash
cd ~/.claude/skills/url-reader
python3 -m venv .venv
source .venv/bin/activate

# 核心依赖
pip install firecrawl-py requests

# Playwright(可选,用于需要登录的平台)
pip install playwright
playwright install chromium
```

## 常见问题

### Q: 为什么有些网站读取失败?

A: 可能原因:
1. 网站有强反爬机制 → 尝试 Playwright
2. 需要登录 → 设置登录态
3. 内容已删除 → 无法读取

### Q: Firecrawl 免费额度用完了怎么办?

A:
1. 自动降级到 Jina Reader(免费)
2. 或升级 Firecrawl 付费计划

### Q: 微信公众号总是读取失败?

A: 微信反爬最严格,建议:
1. 使用 Playwright + 登录态
2. 或手动复制内容

## 版本历史

- **v2.0**:整合 Firecrawl + Jina + Playwright 三层策略
- **v1.1**:添加 Playwright 浏览器自动化
- **v1.0**:基础功能

「資料分析」分類下的熱門技能

全能金融爬蟲資料分析

中國金融機構資料爬取與分析綜合 Skill v12.0.0。2334家/43大類機構名單、60+財經媒體源輿情、 A股報告/公告/研報、60+種查詢多源金融資料(自動降級+快取)、爬取排程與網頁操作增強、 即時資料中樞、24 技術指標引擎、多源證據融合、110 MCP 工具 + 10 Resource + 14 Prompt。 🆕 v12.0.0 四條線(資訊獲取 / 打包下載 / 資料分析 / 登入): 編排:gather_info() 一次跑完"路由→抓取→去佔位→質量分→能力邊界→回執→打包", 8 類意圖各帶問法、輸入輸出、典型耗時與 not_for(說清哪件事做不了)。 誠實:反爬佔位條目一律剔除並記賬,空結果報 E_SOURCE_EMPTY,不把假資料判成 B 級成功。 交付:包內自帶 manifest.json(逐檔案 sha256),verify 查得出改動/缺失/多塞, 批次下載單條失敗不中斷整批,失敗清單可直接只重下那幾條。 登入:Cookie 由使用者匯出或掃碼接管,檔案化 + 健康度四檔,對外輸出全脫敏(值永不回顯)。 何時觸發:爬取機構、輿情爬取、東方財富、公告下載、即時行情、技術指標、統一查詢、 交付包、批次重下、我已經登入了、登入態還有效嗎(完整觸發詞見下方 auto_trigger)。

↓ 77萬★ 288user_9d5a2a39
鋼聯AI - 智慧問數資料分析

大宗商品價格資料查詢技能。用於查詢大宗商品期現貨價格、宏觀經濟指標、產業鏈供需資料、進出口庫存資料、金融市場資料等。當用戶詢問:(1) 期貨/現貨價格查詢,如"螺紋鋼價格"、"銅期貨收盤價"; (2) 歷史行情或趨勢分析;(3) 區域或企業價格對比;(4) 宏觀經濟指標,如GDP、CPI;(5) 產業鏈上下游資料;(6) 多市場金融資料(期權、股票、債券、外匯);(7) 結算確認單生成時觸發此技能。

↓ 70.5萬★ 6u_9ed3401d
smart-charts資料分析

32種圖表,3 個主題,2步生成: 1.上傳資料 — 將 CSV / Excel / JSON 等格式的資料檔案拖入對話方塊; 2.檢視結果 — 互動式圖表(HTML),可儲存圖表為圖片.

↓ 60.5萬★ 135user_5b28ea14
AdMapix資料分析

AdMapix 的取數層:把廣告與應用相關的查詢轉成介面呼叫,只回原始 JSON。

↓ 57.5萬★ 304fly0pants
論文配圖一鍵生成資料分析

論文配圖一鍵生成:一條命令從 JSON/CSV/Excel 生成頂刊級學術圖表,科研繪圖 與期刊配圖全場景覆蓋。40 種圖表(森林圖/KM 生存曲線(自動風險表)/競爭風險累計發生率/ROC/校準 曲線/決策曲線 DCA/列線圖/RCS 非線性劑量反應/亞組分析森林圖/RMST 限制平均生存時間/Galbraith 徑向圖/火山圖/雨雲圖/山脊圖/啞鈴圖/游泳圖(逐例時長+里程碑)/ 腫瘤緩解瀑布圖/UpSet 交集/PRISMA 流程圖/漏斗/BA 一致性/PCA/熱圖/箱線/小提琴/ 組合圖/Cox 多因素迴歸森林圖等),9 套配色(含色盲安全 Okabe-Ito 與期刊色板),9 種期刊投稿預設, YAML 流水線一條命令出全套論文圖,一次渲染多格式匯出(TIFF/PNG/PDF), PDF 重疊門禁,600dpi。純本地執行,資料不出機,中文零配置。適用:寫論文/ 投稿要配圖、把資料變成可投稿圖表、批次重出全套圖。不適用:文字潤色/翻譯/ 改寫(請用寫作類工具);商業報表/儀表盤/海報裝飾;無資料支撐的純示意圖。

↓ 42.1萬★ 83user_481397b5
smart-charts資料分析

Intelligent chart generation and data analysis skill. Reads user-supplied data files (CSV/Excel/JSON), analyzes data characteristics with LLM assistance, auto-recommends and generates interactive ECharts visualizations. Use when the user asks to analyze data, generate charts, create visualizations, or work with tabular data files.

↓ 25.7萬★ 1user_814dbe54
股票/基金/期貨量化分析工具資料分析

全球智慧投研工具(stock-researcher)v13.0:多源資料 + 機率預測 + 可匯出報告。 核心能力: - 多源資料路由:按市場/類別選源,逐級降級;每個結果標註來源與時效等級;源不可用時明確標 unavailable - 全資產量化:股票/ETF/場外基金/指數/期貨(期限結構、基差、持倉、折溢價)多因子分析 - 機率預測:1d/5d/1M/3M/6M 經驗分佈 + 分位數 + 方向機率 + 區間,kNN 鄰域收縮融合全域性分佈; 樣本不足自動棄權,可按歷史命中樣本(同桶)做機率校準 - 證據鏈簡報:每條結論繫結來源、時間與資料質量,衝突訊號保留而不抹平 - 報告匯出:Word/PPT/PDF/Markdown/JSON/純文字,純標準庫渲染 + 可選第三方引擎 - MCP Server 24 工具,Claude Code 可直接呼叫;知識庫 12 介面卡雙向同步 三條鐵律: - 資料不裝:拿不到就報不可用,不拿 0 價、不拿空表冒充 - 預測不裝:機率來自歷史相似條件的經驗分佈,樣本不足就說不足,不硬給方向 - 評分≠盈利保證:任何結論都帶免責宣告

↓ 19.2萬★ 147user_9d5a2a39
Tavily Search資料分析

透過 Tavily 搜尋公開網頁,並回傳含連結與摘要的結構化結果。

↓ 16.5萬★ 286Xiaoran Li

justao 的其他技能

資料月份:2026-10 · 下載/星標數聚合自公開技能註冊庫(ClawHub、SkillHub),按月更新。口徑說明見資料方法。