zhengxinjipai

Scrapling Web Scraping

知識管理v1.0.0
作者:zhengxinjipai更新於 2026-05-18scrapling-web-scraper
#Javascript#Web Scraping#Browser Automation#Scrape#Website

據 AlphaMoat 統計,截至 2026-10,Scrapling Web Scraping 累計下載 5,282 次、獲 3 個星標,按累計下載量在本次參與排名的 10,914 個 AI 技能中排名第 5,516 位,在「知識管理」分類(745 個)中排名第 380 位。

列表預設按累計下載量排序,也可按星標排序;詳情頁排名按累計下載量計算。

累計下載
5282
星標
3
全站下載量排名
#5,516
全站前 51% · 「知識管理」前 52%
平台累計下載星標評論
ClawHub ↗52823-

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

主文介紹基礎 HTTP、隱身和動態瀏覽器三種模式,面向 JavaScript 頁面、頁面變化和帶反爬保護的網站。它依賴 Scrapling 工具與相關環境;本描述不表示已訪問或提取任何網站資料。

資料釋出於 2026-10-27

可以用來做什麼

  • 從網頁提取指定內容
  • 處理 JavaScript 動態頁面或需要瀏覽器渲染的內容

什麼時候用

  • 需要透過 Scrapling 整理網頁資料時
  • 靜態 HTTP 請求無法覆蓋頁面內容時

示例提示詞

以下是根據技能文件生成的示例,不代表實際執行結果。

概述使用 Scrapling 提取網頁標題和連結的工作流
說明靜態頁面和動態頁面採集場景的區別

月度資料趨勢

累計下載5282
2915418654572026-03 · 累計下載 30902026-05 · 累計下載 46262026-09 · 累計下載 51012026-10 · 累計下載 528226-0326-0926-10
星標3
2332026-03 · 星標 22026-05 · 星標 32026-09 · 星標 32026-10 · 星標 326-0326-0926-10

2026-09 起統計方法調整:同名技能按作者分別統計,並覆蓋全部技能。圖中虛線為調整前的月份,與之後的資料不直接比較,也不計算跨越調整的增長。

月份累計下載環比星標
2026-105282—3
2026-095101—3
2026-054626—3
2026-033090—2

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-10-23。

4.2 KB · ClawHub v1.0.0
---
name: Scrapling Web Scraping
description: Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically. Use when you need to scrape protected websites, extract data from dynamic JavaScript SPAs, or bypass anti-bot detection systems. Supports three modes - basic (fast HTTP), stealth (undetectable), dynamic (browser automation).
identifier: scrapling-web-scraping
version: 1.0.0
author: 老二
category: web-scraping
---

# Scrapling Web Scraping
展開全部(共 142 行)

Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically.

## Quick Start

```bash
# Install Scrapling
pip install "scrapling[all]"
scrapling install

# Basic usage
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com

# Bypass Cloudflare
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://protected-site.com --mode stealth --cloudflare

# Extract specific data
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com --selector ".product-title"

# JavaScript-heavy sites
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://spa-app.com --mode dynamic --wait ".content-loaded"
```

## Usage with OpenClaw

### Natural Language Commands

**Basic scraping:**
> "用Scrapling抓取 https://example.com 的标题和所有链接"

**Bypass protection:**
> "用隐身模式抓取 https://protected-site.com,绕过Cloudflare"

**Extract data:**
> "抓取 https://shop.com 的商品名称和价格,CSS选择器是 .product"

**Dynamic content:**
> "抓取 https://spa-app.com,等待 .data-loaded 元素加载完成"

### Python Code

```python
# Basic scraping
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')
title = page.css('title::text').get()

# Bypass Cloudflare
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://protected.com', 
                              headless=True, 
                              solve_cloudflare=True)

# JavaScript sites
from scrapling.fetchers import DynamicFetcher
page = DynamicFetcher.fetch('https://spa-app.com', 
                             headless=True, 
                             network_idle=True)
```

## Features

| Feature | Command | Description |
|---------|---------|-------------|
| Basic Scrape | `--mode basic` | Fast HTTP requests |
| Stealth Mode | `--mode stealth` | Bypass Cloudflare/anti-bot |
| Dynamic Mode | `--mode dynamic` | Handle JavaScript sites |
| CSS Selectors | `--selector ".class"` | Extract specific elements |
| JSON Output | `--json` | Machine-readable output |

## Examples

### 1. Scrape with CSS Selector
```bash
python3 scrapling_tool.py https://quotes.toscrape.com --selector ".quote .text" --json
```

### 2. Bypass Cloudflare
```bash
python3 scrapling_tool.py https://nopecha.com/demo/cloudflare --mode stealth --cloudflare
```

### 3. Wait for Dynamic Content
```bash
python3 scrapling_tool.py https://spa-app.com --mode dynamic --wait ".loaded" --json
```

## CLI Reference

```
python3 scrapling_tool.py URL [options]

Options:
  --mode {basic,stealth,dynamic}  Scraping mode (default: basic)
  --selector, -s CSS_SELECTOR     Extract specific elements
  --cloudflare                    Solve Cloudflare (stealth mode only)
  --wait SELECTOR                 Wait for element (dynamic mode only)
  --json, -j                      Output as JSON
```

## Advanced: Custom Scripts

Create custom scraping scripts in `/root/.openclaw/skills/scrapling-web-scraping/`:

```python
from scrapling.fetchers import StealthyFetcher

# Your custom scraper
def scrape_products(url):
    page = StealthyFetcher.fetch(url, headless=True)
    products = []
    for item in page.css('.product'):
        products.append({
            'name': item.css('.name::text').get(),
            'price': item.css('.price::text').get(),
            'link': item.css('a::attr(href)').get()
        })
    return products
```

## Notes

- Requires Python 3.10+
- First run: `scrapling install` to download browsers
- Respect website Terms of Service
- Use responsibly

---

**Created**: 2026-03-05 by 老二
**Source**: https://github.com/D4Vinci/Scrapling

「知識管理」分類下的熱門技能

搜尋引擎知識管理

透過公開搜尋URL在16個搜尋引擎(7個國內直連+9個國際)中做跨引擎檢索、結果去重與多源交叉驗證,無需API Key,內建零依賴Python指令碼。Use when 使用者要求“搜一下/查資料/多找幾個來源/核實訊息/找公眾號文章/排查報錯/找論文或開源專案”時。輸入自然語言查詢詞,輸出帶來源連結與可信度標註的結構化結果。不適用於私有資料檢索、批次抓取、需要登入後可見的內容。

↓ 1075.9萬★ 147u_8ee34d77
ima-skills知識管理

透過 IMA OpenAPI 管理筆記與知識庫內容。

↓ 108.4萬★ 566u_1742680f
Summarize知識管理

把長文字、文件與網頁內容壓縮成要點和關鍵詞的摘要工具。

↓ 87.6萬★ 1048paudyyin
全網搜尋知識管理

透過“查一下、搜一下、搜尋、找一下”等自然語言檢索公開網頁,整理來源並交付橫版 PDF、Markdown 與標題連結表。支援使用者主動開啟、檢視和取消技能收藏,保留原報告取回。

↓ 50.9萬★ 2u_32d99f8a
web-tools-guide知識管理

規定如何為網頁請求選擇合適工具的必讀指引。

↓ 40萬★ 220user_ec205dbb
Aihot Skill Lite知識管理

AI HOT(aihot.virxact.com)中文 AI 資訊查詢 Skill,幫助使用者獲取今日 AI 圈動態、AI 日報、AI 熱點、最新 AI 資訊以及 OpenAI、Anthropic、Google 等公司的最新發布資訊。

↓ 32.1萬★ 92Khazix
全球12億文獻知識庫(8千萬中文期刊可下載)知識管理

全球12億文獻知識庫(8千萬中文期刊可下載)——透過 SmartLib 開放平台 API 提供中外文學術文獻檢索與下載能力,覆蓋 8000 萬篇授權中文期刊全文 + 12.28 億條全球文獻後設資料(期刊 7.19 億 / 專利 2.15 億 / 會議 7155 萬 / 學位論文 2473 萬 / 標準 268 萬)。 能力:中英文關鍵詞檢索、文獻詳情、中文期刊 PDF 全文下載、外文 OA 文獻十級渠道免費下載(不消耗配額)、智慧關鍵詞擴充套件、核心期刊優先排序、相關性重排、引文追溯、分類號檢索。 配額:首次使用自動註冊,免費 100 次檢索 + 10 次下載 / 月;耗盡自動彈出方案(體驗卡 / 個人版月 / 專業版月 / 單篇下載 / 下載包),可說「升級 / 充值」喚起;企業 / 機構定製聯絡 [email protected]。 觸發:使用者表達"查論文""找文獻""檢索學術""搜期刊""查專利""找標準""下論文""寫文獻綜述""找參考文獻""查 SCI/EI"等意圖時啟用;也適用"幫我找關於 XX 的論文""寫文獻綜述""找幾篇引用支撐論點"。英文:"find papers" "search literature" "write literature review" "find supporting citations"。 呼叫前必須先用 /consume 獲取 consume_token,再憑 token 調 /search(每次計費介面呼叫都需一次 /consume)。

↓ 30.3萬★ 189user_164f4c1f
Markdown Converter知識管理

用 uvx 直接呼叫 markitdown,把各類檔案轉成 Markdown。

↓ 20.4萬★ 256Peter Steinberger

zhengxinjipai 的其他技能

資料月份:2026-10 · 下載/星標數聚合自公開技能註冊庫(ClawHub、SkillHub),按月更新。口徑說明見資料方法。