zhengxinjipai

Scrapling Web Scraping

ナレッジ管理v1.0.0
作者:zhengxinjipai更新日 2026-05-18scrapling-web-scraper
#Javascript#Web Scraping#Browser Automation#Scrape#Website

AlphaMoatによると、2026-10時点でScrapling Web Scrapingのダウンロード数は5,282、スター数は3で、累計ダウンロード数で今回のランキング対象AIスキル10,914件中5,516位、ナレッジ管理では745件中380位です。

一覧の初期表示は累計ダウンロード数順で、スター数順にも並べ替えできます。詳細ページの順位は累計ダウンロード数で計算しています。

ダウンロード数
5282
スター数
3
累計ダウンロード順位
#5,516
全体の上位 51% · ナレッジ管理の上位 52%
プラットフォームダウンロード数スター数コメント
ClawHub ↗52823-

プラットフォームごとに集計方法と集計時点が異なります。

このスキルでできること

主文には、基本 HTTP、ステルス、動的ブラウザーのモードがあり、JavaScript を多用するページ、変化するサイト、ボット対策のあるサイトを対象にすると記載されています。Scrapling と実行環境が必要です。この説明はサイトを訪問したりデータを取得したりしたことを意味しません。

資料公開日 2026-10-27

できること

  • ウェブページから指定した内容を抽出する
  • JavaScript が多いページやブラウザー描画が必要な内容を扱う

使う場面

  • Scrapling によるウェブデータ抽出を整理するとき
  • 静的な HTTP リクエストではページ内容を取得できないとき

プロンプト例

スキルのドキュメントをもとに生成した例であり、実際の実行結果ではありません。

ページのタイトルとリンクを抽出する Scrapling の流れをまとめて
静的ページと動的ページで抽出方法が異なる場面を説明して

月次の推移

ダウンロード数5282
2915418654572026-03 · ダウンロード数 30902026-05 · ダウンロード数 46262026-09 · ダウンロード数 51012026-10 · ダウンロード数 528226-0326-0926-10
スター数3
2332026-03 · スター数 22026-05 · スター数 32026-09 · スター数 32026-10 · スター数 326-0326-0926-10

2026-09 から集計方法を変更し、同名スキルを作者ごとに分けて集計し、全スキルを対象にしました。破線は変更前の月で、変更後のデータとは直接比較せず、変更をまたぐ増減も計算していません。

月ダウンロード数前月比スター数
2026-105282—3
2026-095101—3
2026-054626—3
2026-033090—2

SKILL.md 原文

作者が公開した元のファイルをテキストのまま表示しています。AlphaMoat による編集や審査はしていません。リンクはクリックできません。コマンドは内容を確認してから実行してください。取得日 2026-10-23。

4.2 KB・ClawHub v1.0.0
---
name: Scrapling Web Scraping
description: Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically. Use when you need to scrape protected websites, extract data from dynamic JavaScript SPAs, or bypass anti-bot detection systems. Supports three modes - basic (fast HTTP), stealth (undetectable), dynamic (browser automation).
identifier: scrapling-web-scraping
version: 1.0.0
author: 老二
category: web-scraping
---

# Scrapling Web Scraping
すべて表示(全 142 行)

Zero-bot-detection web scraping for OpenClaw. Bypass Cloudflare, handle JavaScript-heavy sites, and adapt to website changes automatically.

## Quick Start

```bash
# Install Scrapling
pip install "scrapling[all]"
scrapling install

# Basic usage
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com

# Bypass Cloudflare
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://protected-site.com --mode stealth --cloudflare

# Extract specific data
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://example.com --selector ".product-title"

# JavaScript-heavy sites
python3 /root/.openclaw/skills/scrapling-web-scraping/scrapling_tool.py https://spa-app.com --mode dynamic --wait ".content-loaded"
```

## Usage with OpenClaw

### Natural Language Commands

**Basic scraping:**
> "用Scrapling抓取 https://example.com 的标题和所有链接"

**Bypass protection:**
> "用隐身模式抓取 https://protected-site.com,绕过Cloudflare"

**Extract data:**
> "抓取 https://shop.com 的商品名称和价格,CSS选择器是 .product"

**Dynamic content:**
> "抓取 https://spa-app.com,等待 .data-loaded 元素加载完成"

### Python Code

```python
# Basic scraping
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')
title = page.css('title::text').get()

# Bypass Cloudflare
from scrapling.fetchers import StealthyFetcher
page = StealthyFetcher.fetch('https://protected.com', 
                              headless=True, 
                              solve_cloudflare=True)

# JavaScript sites
from scrapling.fetchers import DynamicFetcher
page = DynamicFetcher.fetch('https://spa-app.com', 
                             headless=True, 
                             network_idle=True)
```

## Features

| Feature | Command | Description |
|---------|---------|-------------|
| Basic Scrape | `--mode basic` | Fast HTTP requests |
| Stealth Mode | `--mode stealth` | Bypass Cloudflare/anti-bot |
| Dynamic Mode | `--mode dynamic` | Handle JavaScript sites |
| CSS Selectors | `--selector ".class"` | Extract specific elements |
| JSON Output | `--json` | Machine-readable output |

## Examples

### 1. Scrape with CSS Selector
```bash
python3 scrapling_tool.py https://quotes.toscrape.com --selector ".quote .text" --json
```

### 2. Bypass Cloudflare
```bash
python3 scrapling_tool.py https://nopecha.com/demo/cloudflare --mode stealth --cloudflare
```

### 3. Wait for Dynamic Content
```bash
python3 scrapling_tool.py https://spa-app.com --mode dynamic --wait ".loaded" --json
```

## CLI Reference

```
python3 scrapling_tool.py URL [options]

Options:
  --mode {basic,stealth,dynamic}  Scraping mode (default: basic)
  --selector, -s CSS_SELECTOR     Extract specific elements
  --cloudflare                    Solve Cloudflare (stealth mode only)
  --wait SELECTOR                 Wait for element (dynamic mode only)
  --json, -j                      Output as JSON
```

## Advanced: Custom Scripts

Create custom scraping scripts in `/root/.openclaw/skills/scrapling-web-scraping/`:

```python
from scrapling.fetchers import StealthyFetcher

# Your custom scraper
def scrape_products(url):
    page = StealthyFetcher.fetch(url, headless=True)
    products = []
    for item in page.css('.product'):
        products.append({
            'name': item.css('.name::text').get(),
            'price': item.css('.price::text').get(),
            'link': item.css('a::attr(href)').get()
        })
    return products
```

## Notes

- Requires Python 3.10+
- First run: `scrapling install` to download browsers
- Respect website Terms of Service
- Use responsibly

---

**Created**: 2026-03-05 by 老二
**Source**: https://github.com/D4Vinci/Scrapling

ナレッジ管理の人気スキル

搜索引擎ナレッジ管理

通过公开搜索URL在16个搜索引擎(7个国内直连+9个国际)中做跨引擎检索、结果去重与多源交叉验证,无需API Key,内置零依赖Python脚本。Use when 用户要求“搜一下/查资料/多找几个来源/核实消息/找公众号文章/排查报错/找论文或开源项目”时。输入自然语言查询词,输出带来源链接与可信度标注的结构化结果。不适用于私有数据检索、批量抓取、需要登录后可见的内容。

↓ 1075.9万★ 147u_8ee34d77
ima-skillsナレッジ管理

IMA OpenAPI を通じてノートとナレッジベースを操作します。

↓ 108.4万★ 566u_1742680f
Summarizeナレッジ管理

長いテキストや文書、ウェブページを要点とキーワードに圧縮する要約ツールです。

↓ 87.6万★ 1048paudyyin
全网搜索ナレッジ管理

通过“查一下、搜一下、搜索、找一下”等自然语言检索公开网页,整理来源并交付横版 PDF、Markdown 与标题链接表。支持用户主动开启、查看和取消技能收藏,保留原报告取回。

↓ 50.9万★ 2u_32d99f8a
web-tools-guideナレッジ管理

ウェブ要求に適切なツールを割り当てるための必読ガイドです。

↓ 40万★ 220user_ec205dbb
Aihot Skill Liteナレッジ管理

AI HOT (aihot.virxact.com) 中文 AI 资讯查询 Skill。当用户想知道"今天 AI 圈有什么"、"AI 日报"、"AI HOT"、"AI 资讯"、"AI 热点"、"最近 AI"、"OpenAI/Anthropic/Google 最近发布了什么"、"AI hot today"、"AI...

↓ 32.1万★ 92Khazix
全球12亿文献知识库(8千万中文期刊可下载)ナレッジ管理

全球12亿文献知识库(8千万中文期刊可下载)——通过 SmartLib 开放平台 API 提供中外文学术文献检索与下载能力,覆盖 8000 万篇授权中文期刊全文 + 12.28 亿条全球文献元数据(期刊 7.19 亿 / 专利 2.15 亿 / 会议 7155 万 / 学位论文 2473 万 / 标准 268 万)。 能力:中英文关键词检索、文献详情、中文期刊 PDF 全文下载、外文 OA 文献十级渠道免费下载(不消耗配额)、智能关键词扩展、核心期刊优先排序、相关性重排、引文追溯、分类号检索。 配额:首次使用自动注册,免费 100 次检索 + 10 次下载 / 月;耗尽自动弹出套餐(体验卡 / 个人版月 / 专业版月 / 单篇下载 / 下载包),可说「升级 / 充值」唤起;企业 / 机构定制联系 [email protected]。 触发:用户表达"查论文""找文献""检索学术""搜期刊""查专利""找标准""下论文""写文献综述""找参考文献""查 SCI/EI"等意图时启用;也适用"帮我找关于 XX 的论文""写文献综述""找几篇引用支撑论点"。英文:"find papers" "search literature" "write literature review" "find supporting citations"。 调用前必须先用 /consume 获取 consume_token,再凭 token 调 /search(每次计费接口调用都需一次 /consume)。

↓ 30.3万★ 189user_164f4c1f
Markdown Converterナレッジ管理

uvx 経由で markitdown を呼び、さまざまな形式のファイルを Markdown に変換します。

↓ 20.4万★ 256Peter Steinberger

zhengxinjipaiのその他のスキル

データ月:2026-10 · ダウンロード数とスター数は公開スキルレジストリ(ClawHub、SkillHub)から月単位で集計しています。詳しくはデータの方法論をご覧ください。