据 AlphaMoat 统计,截至 2026-10,Scrapling Web Scraping 累计下载 5,282 次、获 3 个星标,按累计下载量在本次参与排名的 10,914 个 AI 技能中排名第 5,516 位,在「知识管理」分类(745 个)中排名第 380 位。
列表默认按累计下载量排序,也可按星标排序;详情页排名按累计下载量计算。
| 平台 | 累计下载 | 星标 | 评论 |
|---|---|---|---|
| ClawHub ↗ | 5,282 | 3 | - |
各平台的计数口径不同,统计时间不一致。
主文介绍基础 HTTP、隐身和动态浏览器三种模式,面向 JavaScript 页面、页面变化和带反爬保护的网站。它依赖 Scrapling 工具与相关环境;本描述不表示已访问或提取任何网站数据。
资料发布于 2026-10-27
以下是根据技能文档生成的示例,不代表实际运行结果。
2026-09 起统计方法调整:同名技能按作者分别统计,并覆盖全部技能。图中虚线为调整前的月份,与之后的数据不直接比较,也不计算跨越调整的增长。
| 月份 | 累计下载 | 环比 | 星标 |
|---|---|---|---|
| 2026-10 | 5,282 | — | 3 |
| 2026-09 | 5,101 | — | 3 |
| 2026-05 | 4,626 | — | 3 |
| 2026-03 | 3,090 | — | 2 |
以下是作者发布的原始文件,按纯文本显示,本站未做修改或审核;其中的链接不可点击,命令请核实后再运行。抓取于 2026-10-23。
--- name: Scrapling Web Scraping description: Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically. Use when you need to scrape protected websites, extract data from dynamic JavaScript SPAs, or bypass anti-bot detection systems. Supports three modes - basic (fast HTTP), stealth (undetectable), dynamic (browser automation). identifier: scrapling-web-scraping version: 1.0.0 author: 老二 category: web-scraping --- # Scrapling Web Scraping
Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically.
## Quick Start
```bash
# Install Scrapling
pip install "scrapling[all]"
scrapling install
# Basic usage
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com
# Bypass Cloudflare
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://protected-site.com --mode stealth --cloudflare
# Extract specific data
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com --selector ".product-title"
# JavaScript-heavy sites
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://spa-app.com --mode dynamic --wait ".content-loaded"
```
## Usage with OpenClaw
### Natural Language Commands
**Basic scraping:**
> "用Scrapling抓取 https://example.com 的标题和所有链接"
**Bypass protection:**
> "用隐身模式抓取 https://protected-site.com,绕过Cloudflare"
**Extract data:**
> "抓取 https://shop.com 的商品名称和价格,CSS选择器是 .product"
**Dynamic content:**
> "抓取 https://spa-app.com,等待 .data-loaded 元素加载完成"
### Python Code
```python
# Basic scraping
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')
title = page.css('title::text').get()
# Bypass Cloudflare
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://protected.com',
headless=True,
solve_cloudflare=True)
# JavaScript sites
from scrapling.fetchers import DynamicFetcher
page = DynamicFetcher.fetch('https://spa-app.com',
headless=True,
network_idle=True)
```
## Features
| Feature | Command | Description |
|---------|---------|-------------|
| Basic Scrape | `--mode basic` | Fast HTTP requests |
| Stealth Mode | `--mode stealth` | Bypass Cloudflare/anti-bot |
| Dynamic Mode | `--mode dynamic` | Handle JavaScript sites |
| CSS Selectors | `--selector ".class"` | Extract specific elements |
| JSON Output | `--json` | Machine-readable output |
## Examples
### 1. Scrape with CSS Selector
```bash
python3 scrapling_tool.py https://quotes.toscrape.com --selector ".quote .text" --json
```
### 2. Bypass Cloudflare
```bash
python3 scrapling_tool.py https://nopecha.com/demo/cloudflare --mode stealth --cloudflare
```
### 3. Wait for Dynamic Content
```bash
python3 scrapling_tool.py https://spa-app.com --mode dynamic --wait ".loaded" --json
```
## CLI Reference
```
python3 scrapling_tool.py URL [options]
Options:
--mode {basic,stealth,dynamic} Scraping mode (default: basic)
--selector, -s CSS_SELECTOR Extract specific elements
--cloudflare Solve Cloudflare (stealth mode only)
--wait SELECTOR Wait for element (dynamic mode only)
--json, -j Output as JSON
```
## Advanced: Custom Scripts
Create custom scraping scripts in `/root/.openclaw/skills/scrapling-web-scraping/`:
```python
from scrapling.fetchers import StealthyFetcher
# Your custom scraper
def scrape_products(url):
page = StealthyFetcher.fetch(url, headless=True)
products = []
for item in page.css('.product'):
products.append({
'name': item.css('.name::text').get(),
'price': item.css('.price::text').get(),
'link': item.css('a::attr(href)').get()
})
return products
```
## Notes
- Requires Python 3.10+
- First run: `scrapling install` to download browsers
- Respect website Terms of Service
- Use responsibly
---
**Created**: 2026-03-05 by 老二
**Source**: https://github.com/D4Vinci/Scrapling
通过公开搜索URL在16个搜索引擎(7个国内直连+9个国际)中做跨引擎检索、结果去重与多源交叉验证,无需API Key,内置零依赖Python脚本。Use when 用户要求“搜一下/查资料/多找几个来源/核实消息/找公众号文章/排查报错/找论文或开源项目”时。输入自然语言查询词,输出带来源链接与可信度标注的结构化结果。不适用于私有数据检索、批量抓取、需要登录后可见的内容。
通过 IMA OpenAPI 管理笔记与知识库内容。
把长文本、文档与网页内容压缩成要点和关键词的摘要工具。
通过“查一下、搜一下、搜索、找一下”等自然语言检索公开网页,整理来源并交付横版 PDF、Markdown 与标题链接表。支持用户主动开启、查看和取消技能收藏,保留原报告取回。
规定如何为网页请求选择合适工具的必读指引。
AI HOT(aihot.virxact.com)中文 AI 资讯查询 Skill,帮助用户获取今日 AI 圈动态、AI 日报、AI 热点、最新 AI 资讯以及 OpenAI、Anthropic、Google 等公司的最新发布信息。
全球12亿文献知识库(8千万中文期刊可下载)——通过 SmartLib 开放平台 API 提供中外文学术文献检索与下载能力,覆盖 8000 万篇授权中文期刊全文 + 12.28 亿条全球文献元数据(期刊 7.19 亿 / 专利 2.15 亿 / 会议 7155 万 / 学位论文 2473 万 / 标准 268 万)。 能力:中英文关键词检索、文献详情、中文期刊 PDF 全文下载、外文 OA 文献十级渠道免费下载(不消耗配额)、智能关键词扩展、核心期刊优先排序、相关性重排、引文追溯、分类号检索。 配额:首次使用自动注册,免费 100 次检索 + 10 次下载 / 月;耗尽自动弹出套餐(体验卡 / 个人版月 / 专业版月 / 单篇下载 / 下载包),可说「升级 / 充值」唤起;企业 / 机构定制联系 [email protected]。 触发:用户表达"查论文""找文献""检索学术""搜期刊""查专利""找标准""下论文""写文献综述""找参考文献""查 SCI/EI"等意图时启用;也适用"帮我找关于 XX 的论文""写文献综述""找几篇引用支撑论点"。英文:"find papers" "search literature" "write literature review" "find supporting citations"。 调用前必须先用 /consume 获取 consume_token,再凭 token 调 /search(每次计费接口调用都需一次 /consume)。
用 uvx 直接调用 markitdown,把各类文件转成 Markdown。
数据月份:2026-10 · 下载/星标数聚合自公开技能注册库(ClawHub、SkillHub),按月更新。口径说明见数据方法。