justao

Url Reader

データ分析v0.1.1
作者:justao更新日 2026-05-17全 2 バージョン · 最新版の公開日 2026-02-13url-reader@clawhub_justao/url-reader
データクレンジングWeb スクレイピング#小红书#微信#抖音

AlphaMoatによると、2026-10時点でUrl Readerのダウンロード数は13,469、スター数は15で、累計ダウンロード数で今回のランキング対象AIスキル10,914件中2,068位、データ分析では915件中203位です。

一覧の初期表示は累計ダウンロード数順で、スター数順にも並べ替えできます。詳細ページの順位は累計ダウンロード数で計算しています。

ダウンロード数
1.3万
スター数
15
累計ダウンロード順位
#2,068
全体の上位 19% · データ分析の上位 23%
プラットフォームダウンロード数スター数コメント
ClawHub ↗36422-
SkillHub ↗1.3万15—

プラットフォームごとに集計方法と集計時点が異なります。

このスキルでできること

リンクのプラットフォームを自動判別し、Firecrawl、Jina、Playwright の三段階の取得方法を順に切り替えながら本文を Markdown として保存し、画像をローカルにダウンロードします。WeChat 公式アカウント、小紅書、今日頭条、抖音、主要な通販サイトなどへの対応をうたっています。 アクセス権のあるリンクのみを使用してください。取得したページや画像は不完全な場合があるため、保存または共有前に確認してください。

資料公開日 2026-10-29

できること

  • 記事を画像ごとローカルの素材として保存する
  • 複数プラットフォームのリンクをまとめて読み、Markdown として整理する

使う場面

  • リンクの内容を一度読むだけでなく残しておきたいとき
  • 同じリンクが取得方法によって不安定にしか取れないとき

プロンプト例

スキルのドキュメントをもとに生成した例であり、実際の実行結果ではありません。

このリンクの本文と画像を保存し、最終的にどの取得段階を使ったか教えてください
このリンク群は公式アカウントと小紅書が混在しているので、Markdown の一つのフォルダに整理してください

月次の推移

ダウンロード数1.3万
311986781.4万2026-03 · ダウンロード数 38862026-05 · ダウンロード数 55142026-06 · ダウンロード数 58142026-07 · ダウンロード数 61472026-08 · ダウンロード数 63432026-09 · ダウンロード数 73852026-10 · ダウンロード数 1.3万26-0326-0926-10
スター数15
29162026-03 · スター数 32026-05 · スター数 102026-06 · スター数 122026-07 · スター数 132026-08 · スター数 152026-09 · スター数 152026-10 · スター数 1526-0326-0926-10

2026-09 から集計方法を変更し、同名スキルを作者ごとに分けて集計し、全スキルを対象にしました。破線は変更前の月で、変更後のデータとは直接比較せず、変更をまたぐ増減も計算していません。

月ダウンロード数前月比スター数
2026-101.3万—15
2026-097385—15
2026-086343+3.2%15
2026-076147+5.7%13
2026-065814+5.4%12
2026-055514—10
2026-033886—3

SKILL.md 原文

作者が公開した元のファイルをテキストのまま表示しています。AlphaMoat による編集や審査はしていません。リンクはクリックできません。コマンドは内容を確認してから実行してください。取得日 2026-10-23。

8.4 KB・ClawHub v0.1.1
---
name: url-reader
description: 智能读取任意URL内容,支持微信公众号、小红书、今日头条、抖音、淘宝、天猫、京东、百度等中国主流平台,自动识别平台类型并提取核心内容。自动保存内容为Markdown,下载图片到本地。
---

# URL Reader - 智能网页内容读取器

一键读取任意URL的内容,自动识别平台类型,智能选择最佳读取策略,**自动保存内容和图片到本地**。

## 默认保存目录
すべて表示(全 259 行)

```
/Users/ys/laoyang知识库/nickys/素材/
```

保存格式:
```
素材/
└── 2026-01-30_文章标题/
    ├── content.md      # Markdown内容
    ├── img_01.webp     # 图片1
    ├── img_02.webp     # 图片2
    └── ...
```

## 核心技术方案

### 三层读取策略(自动降级)

```
┌─────────────────────────────────────────────────────────────────┐
│                     URL Reader 技术架构                          │
├─────────────────────────────────────────────────────────────────┤
│                                                                 │
│  用户输入 URL                                                    │
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 平台识别器   │ → 识别URL所属平台(微信/小红书/淘宝等)           │
│  └─────────────┘                                                │
│       ↓                                                         │
│  ┌─────────────────────────────────────────────────────────────┐│
│  │                    策略选择器                                ││
│  │  ┌───────────┐  ┌───────────┐  ┌───────────┐               ││
│  │  │ 策略1     │  │ 策略2     │  │ 策略3     │               ││
│  │  │ Firecrawl │→│ Jina      │→│ Playwright │               ││
│  │  │ (首选)    │  │ (备选)    │  │ (兜底)    │               ││
│  │  └───────────┘  └───────────┘  └───────────┘               ││
│  └─────────────────────────────────────────────────────────────┘│
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 内容提取器   │ → 提取标题、正文、作者、时间等                   │
│  └─────────────┘                                                │
│       ↓                                                         │
│  ┌─────────────┐                                                │
│  │ 格式化输出   │ → Markdown 格式                                │
│  └─────────────┘                                                │
│                                                                 │
└─────────────────────────────────────────────────────────────────┘
```

### 策略1:Firecrawl API(首选)

**特点**:
- AI 驱动的网页抓取
- 自动处理 JavaScript 渲染
- 自动绕过反爬机制
- 直接返回干净的 Markdown
- 支持 96% 的网站

**API 调用**:
```python
from firecrawl import Firecrawl

app = Firecrawl(api_key="fc-YOUR_API_KEY")
result = app.scrape(url, formats=["markdown"])
```

**定价**:
- 免费:500 页/月
- 付费:按量计费

### 策略2:Jina Reader API(备选)

**特点**:
- 完全免费
- 无需 API Key
- 支持动态渲染
- 返回 Markdown 格式

**使用方式**:
```
https://r.jina.ai/{原始URL}
```

### 策略3:Playwright 浏览器自动化(兜底)

**特点**:
- 支持登录态保持
- 可处理任何网站
- 需要首次手动登录

**适用场景**:
- 微信公众号(需要登录)
- 需要登录的平台
- 前两种策略都失败时

## 使用方式

### 方式1:直接对话

```
用户:帮我读取这个链接 https://mp.weixin.qq.com/s/xxxxx
用户:看看这个小红书 https://www.xiaohongshu.com/explore/xxxxx
用户:读一下这个网页 https://example.com/article
```

### 方式2:命令行调用

```bash
/url-reader https://example.com/article
```

## 支持的平台

| 平台 | 域名 | 推荐策略 | 备注 |
|------|------|----------|------|
| 微信公众号 | mp.weixin.qq.com | Firecrawl → Playwright | 可能需要登录 |
| 小红书 | xiaohongshu.com | Firecrawl → Jina | 短链接需解析 |
| 今日头条 | toutiao.com | Firecrawl → Jina | - |
| 抖音 | douyin.com | Firecrawl | 提取视频描述 |
| 淘宝 | taobao.com | Firecrawl → Playwright | 可能需要登录 |
| 天猫 | tmall.com | Firecrawl → Playwright | 可能需要登录 |
| 京东 | jd.com | Firecrawl → Jina | - |
| 百度 | baidu.com | Firecrawl → Jina | - |
| 知乎 | zhihu.com | Firecrawl → Jina | - |
| 微博 | weibo.com | Firecrawl → Playwright | 可能需要登录 |
| B站 | bilibili.com | Firecrawl → Jina | - |
| 通用网站 | * | Firecrawl → Jina | - |

## 工作流程

```
1. 接收 URL
2. 识别平台类型
3. 选择读取策略:
   ├─ 尝试 Firecrawl API
   │   ├─ 成功 → 返回内容
   │   └─ 失败 → 继续
   ├─ 尝试 Jina Reader
   │   ├─ 成功 → 返回内容
   │   └─ 失败 → 继续
   └─ 尝试 Playwright(需要登录态)
       ├─ 有登录态 → 读取内容
       └─ 无登录态 → 提示用户设置
4. 提取核心内容
5. 格式化输出
```

## 输出格式

```markdown
# [文章标题]

**来源**:[平台名称]
**作者**:[作者名称]
**发布时间**:[时间]
**原文链接**:[URL]

---

[正文内容]

---

**互动数据**(如有):
- 阅读/播放:xxx
- 点赞:xxx
- 评论:xxx
```

## 配置说明

### Firecrawl API Key 配置

1. 访问 https://www.firecrawl.dev/ 注册账号
2. 获取 API Key
3. 配置环境变量:
   ```bash
   export FIRECRAWL_API_KEY="fc-YOUR_API_KEY"
   ```

### Playwright 登录态设置(可选)

用于需要登录的平台(如微信公众号):

```bash
cd ~/.claude/skills/url-reader
source .venv/bin/activate
python scripts/wechat_reader.py setup
```

## 目录结构

```
url-reader/
├── skill.md              # 本文档
├── metadata.json         # 元数据
├── scripts/
│   ├── url_reader.py     # 主读取器(整合三种策略)
│   ├── firecrawl_reader.py   # Firecrawl 策略
│   ├── jina_reader.py        # Jina 策略
│   ├── wechat_reader.py      # Playwright 策略(微信)
│   └── url_identifier.py     # URL 平台识别器
└── data/
    └── wechat_auth.json  # 微信登录态(自动生成)
```

## 依赖安装

```bash
cd ~/.claude/skills/url-reader
python3 -m venv .venv
source .venv/bin/activate

# 核心依赖
pip install firecrawl-py requests

# Playwright(可选,用于需要登录的平台)
pip install playwright
playwright install chromium
```

## 常见问题

### Q: 为什么有些网站读取失败?

A: 可能原因:
1. 网站有强反爬机制 → 尝试 Playwright
2. 需要登录 → 设置登录态
3. 内容已删除 → 无法读取

### Q: Firecrawl 免费额度用完了怎么办?

A:
1. 自动降级到 Jina Reader(免费)
2. 或升级 Firecrawl 付费计划

### Q: 微信公众号总是读取失败?

A: 微信反爬最严格,建议:
1. 使用 Playwright + 登录态
2. 或手动复制内容

## 版本历史

- **v2.0**:整合 Firecrawl + Jina + Playwright 三层策略
- **v1.1**:添加 Playwright 浏览器自动化
- **v1.0**:基础功能

データ分析の人気スキル

全能金融爬虫データ分析

中国金融机构数据爬取与分析综合 Skill v12.0.0。2334家/43大类机构名单、60+财经媒体源舆情、 A股报告/公告/研报、60+种查询多源金融数据(自动降级+缓存)、爬取调度与网页操作增强、 实时数据中枢、24 技术指标引擎、多源证据融合、110 MCP 工具 + 10 Resource + 14 Prompt。 🆕 v12.0.0 四条线(信息获取 / 打包下载 / 数据分析 / 登录): 编排:gather_info() 一次跑完"路由→抓取→去占位→质量分→能力边界→回执→打包", 8 类意图各带问法、输入输出、典型耗时与 not_for(说清哪件事做不了)。 诚实:反爬占位条目一律剔除并记账,空结果报 E_SOURCE_EMPTY,不把假数据判成 B 级成功。 交付:包内自带 manifest.json(逐文件 sha256),verify 查得出改动/缺失/多塞, 批量下载单条失败不中断整批,失败清单可直接只重下那几条。 登录:Cookie 由用户导出或扫码接管,档案化 + 健康度四档,对外输出全脱敏(值永不回显)。 何时触发:爬取机构、舆情爬取、东方财富、公告下载、实时行情、技术指标、统一查询、 交付包、批量重下、我已经登录了、登录态还有效吗(完整触发词见下方 auto_trigger)。

↓ 77万★ 288user_9d5a2a39
钢联AI - 智能问数データ分析

大宗商品价格数据查询技能。用于查询大宗商品期现货价格、宏观经济指标、产业链供需数据、进出口库存数据、金融市场数据等。当用户询问:(1) 期货/现货价格查询,如"螺纹钢价格"、"铜期货收盘价"; (2) 历史行情或趋势分析;(3) 区域或企业价格对比;(4) 宏观经济指标,如GDP、CPI;(5) 产业链上下游数据;(6) 多市场金融数据(期权、股票、债券、外汇);(7) 结算确认单生成时触发此技能。

↓ 70.5万★ 6u_9ed3401d
smart-chartsデータ分析

将数据文件(CSV/TSV/TXT/XLSX/XLS/JSON)转化为独立交互式 ECharts HTML 图表——32 类图表、3 套主题,全离线无需 CDN。出图前可先取数据画像(--profile:每列 dtype/基数/缺失/样本/统计、实体粒度、候选洞察信号、疑似非数据行),让 agent 在用户没说想看什么时自己读懂数据并决定出什么图——哪列是 ID、哪列是维度、出什么图,全部由 agent 从画像的客观事实自行判断,技能不代笔;每张图内置事实卡(plot_stats + data_preview),其数值是解读时唯一可引用的数字。本技能负责出图与算事实,不产出书面报告或叙事文档。触发:用户提供或指向表格数据文件并要求出图;提到「画图/出图/可视化/生成图表/generate a chart/make a graph」;想把表格渲染成交互式 HTML 图表。不触发:要的是书面报告、叙事分析或幻灯片;没有数据文件;需要后端的仪表盘;图片/音频/视频等非表格内容。

↓ 60.5万★ 135user_5b28ea14
AdMapixデータ分析

AdMapix のデータ取得層で、広告やアプリの問い合わせを API 呼び出しに変え、生の JSON だけを返します。

↓ 57.5万★ 304fly0pants
论文配图一键生成データ分析

论文配图一键生成:一条命令从 JSON/CSV/Excel 生成顶刊级学术图表,科研绘图 与期刊配图全场景覆盖。40 种图表(森林图/KM 生存曲线(自动风险表)/竞争风险累计发生率/ROC/校准 曲线/决策曲线 DCA/列线图/RCS 非线性剂量反应/亚组分析森林图/RMST 限制平均生存时间/Galbraith 径向图/火山图/雨云图/山脊图/哑铃图/游泳图(逐例时长+里程碑)/ 肿瘤缓解瀑布图/UpSet 交集/PRISMA 流程图/漏斗/BA 一致性/PCA/热图/箱线/小提琴/ 组合图/Cox 多因素回归森林图等),9 套配色(含色盲安全 Okabe-Ito 与期刊色板),9 种期刊投稿预设, YAML 流水线一条命令出全套论文图,一次渲染多格式导出(TIFF/PNG/PDF), PDF 重叠门禁,600dpi。纯本地运行,数据不出机,中文零配置。适用:写论文/ 投稿要配图、把数据变成可投稿图表、批量重出全套图。不适用:文本润色/翻译/ 改写(请用写作类工具);商业报表/仪表盘/海报装饰;无数据支撑的纯示意图。

↓ 42.1万★ 83user_481397b5
smart-chartsデータ分析

Intelligent chart generation and data analysis skill. Reads user-supplied data files (CSV/Excel/JSON), analyzes data characteristics with LLM assistance, auto-recommends and generates interactive ECharts visualizations. Use when the user asks to analyze data, generate charts, create visualizations, or work with tabular data files.

↓ 25.7万★ 1user_814dbe54
股票/基金/期货量化分析工具データ分析

全球智能投研工具(stock-researcher)v13.0:多源数据 + 概率预测 + 可导出报告。 核心能力: - 多源数据路由:按市场/类别选源,逐级降级;每个结果标注来源与时效等级;源不可用时明确标 unavailable - 全资产量化:股票/ETF/场外基金/指数/期货(期限结构、基差、持仓、折溢价)多因子分析 - 概率预测:1d/5d/1M/3M/6M 经验分布 + 分位数 + 方向概率 + 区间,kNN 邻域收缩融合全局分布; 样本不足自动弃权,可按历史命中样本(同桶)做概率校准 - 证据链简报:每条结论绑定来源、时间与数据质量,冲突信号保留而不抹平 - 报告导出:Word/PPT/PDF/Markdown/JSON/纯文本,纯标准库渲染 + 可选第三方引擎 - MCP Server 24 工具,Claude Code 可直接调用;知识库 12 适配器双向同步 三条铁律: - 数据不装:拿不到就报不可用,不拿 0 价、不拿空表冒充 - 预测不装:概率来自历史相似条件的经验分布,样本不足就说不足,不硬给方向 - 评分≠盈利保证:任何结论都带免责声明

↓ 19.2万★ 147user_9d5a2a39
Tavily Searchデータ分析

Tavily 経由で公開ウェブを検索し、リンクと抜粋付きの構造化結果を返します。

↓ 16.5万★ 286Xiaoran Li

justaoのその他のスキル

データ月:2026-10 · ダウンロード数とスター数は公開スキルレジストリ(ClawHub、SkillHub)から月単位で集計しています。詳しくはデータの方法論をご覧ください。