Paul Grey

XPR Web Scraping

数据分析v0.2.11
作者:Paul Grey更新于 2026-05-19xpr-web-scraping@clawhub_paulgnz/xpr-web-scraping
网页抓取#Web Scraping

据 AlphaMoat 统计,截至 2026-09,XPR Web Scraping 累计下载 3,310 次、获 0 个星标,在全部 5,078 个 AI 技能中排名第 3,418 位,在「数据分析」分类(399 个)中排名第 257 位。

累计安装
101
累计下载
3,310
星标
-
全站排名
#3,418
全站前 68% · 「数据分析」前 65%
平台累计安装累计下载星标评论
ClawHub ↗1013,228--
SkillHub ↗983,310-—

各平台的计数口径不同,统计时间不一致。

这个技能是做什么的

抓取请求会访问用户指定的外部目标;工具可能向任意地址发出请求,若转发用户提供的 header,可能泄露 Authorization、Cookie 或 API key。使用时应限制可访问域名、阻止私有地址与危险跳转,并设置响应大小限制;不要传递内部服务凭据。

资料发布于 2026-10-29

可以用来做什么

  • 提取网页的清理文本或保留结构的 Markdown。
  • 从页面发现并筛选链接。
  • 比较多个网页的内容和元数据。

什么时候用

  • 需要抓取网页正文、元数据或链接以辅助研究时。
  • 需要从多个网址提取内容并进行比较时。
  • 访问不受信任 URL、处理自定义 headers 或大响应时,需要限制目标、移除凭据并检查资源上限。

示例提示词

以下是根据技能文档生成的示例,不代表实际运行结果。

概述网页抓取工具支持的格式与链接提取能力,并列出访问外部 URL 的安全检查。
设计一个不转发 Authorization、Cookie 或 API key 的网页抓取请求方案。

月度数据趋势

累计下载3,310
1,7492,5883,4262026-03 · 累计下载 1,8652026-05 · 累计下载 2,4312026-06 · 累计下载 2,6152026-07 · 累计下载 2,9212026-08 · 累计下载 3,0852026-09 · 累计下载 3,31026-0326-09
星标-
0112026-03 · 星标 -2026-05 · 星标 -2026-06 · 星标 -2026-07 · 星标 -2026-08 · 星标 -2026-09 · 星标 -26-0326-09

2026-09 起统计方法调整:同名技能按作者分别统计,并覆盖全部技能。图中虚线为调整前的月份,与之后的数据不直接比较,也不计算跨越调整的增长。

月份累计下载环比星标
2026-093,310—-
2026-083,085+5.6%-
2026-072,921+11.7%-
2026-062,615+7.6%-
2026-052,431—-
2026-031,865—-

SKILL.md 原文

以下是作者发布的原始文件,按纯文本显示,本站未做修改或审核;其中的链接不可点击,命令请核实后再运行。抓取于 2026-10-23。

1.2 KB · ClawHub v0.2.11
---
name: web-scraping
description: Web scraping tools for fetching and extracting data from web pages
---

## Web Scraping

You have web scraping tools for fetching and extracting data from web pages:

**Single page:**
展开全部(共 30 行)
- `scrape_url` — fetch a URL and get cleaned text content + metadata (title, description, link count)
  - Use format="text" (default) for most tasks — strips all HTML
  - Use format="markdown" to preserve headings, links, lists, bold/italic
  - Use format="html" only when you need raw HTML

**Link discovery:**
- `extract_links` — fetch a page and extract all links with text and type (internal/external)
  - Use the `pattern` parameter to filter by regex (e.g. `"\\.pdf$"` for PDF links)
  - Links are deduplicated and resolved to absolute URLs

**Multi-page research:**
- `scrape_multiple` — fetch up to 10 URLs in parallel for comparison/research
  - One failure doesn't block others (uses Promise.allSettled)

**Best practices:**
- Prefer "text" format for content extraction, "markdown" for preserving structure
- Don't scrape the same domain more than 5 times per minute
- Combine with `store_deliverable` to save scraped content as job evidence
- For very large pages, the content is limited to 5MB

「数据分析」分类下的热门技能

数据月份:2026-09 · 下载/星标/安装数聚合自公开技能注册库(ClawHub、SkillHub),按月更新。口径说明见数据方法。