Name: Crawler
Author: bytesagain3

AlphaMoatによると、2026-09時点でCrawlerのダウンロード数は2,289、スター数は0で、AIスキル全体5,078件中4,240位、データ分析では399件中322位です。

インストール数

122

ダウンロード数

2289

スター数

総合順位

#4,240

全体の上位 84% · データ分析の上位 81%

プラットフォーム	インストール数	ダウンロード数	スター数	コメント
ClawHub ↗	63	2263	-	-
SkillHub ↗	122	2289	-	—

プラットフォームごとに集計方法と集計時点が異なります。

このスキルでできること

外部 API を呼び出さず、認証情報もネットワーク接続も必要としない参照資料です。案内は合法で許可された巡回にのみ適用し、公式 API を優先し、利用規約と robots.txt に従い、プロキシ、フィンガープリント、CAPTCHA 回避によるアクセス制御の迂回を避けてください。

資料公開日 2026-10-29

できること

robots.txt、巡回フレームワーク、ページ描画の参考情報を確認する
サイトの規則に従う巡回手順を計画する
Scrapy などへの移行上の考慮点を比較する

使う場面

巡回の概念、トラブルシューティング、コンプライアンスを確認し、収集を許可されたサイトに限って作業する場合

プロンプト例

スキルのドキュメントをもとに生成した例であり、実際の実行結果ではありません。

サイトにアクセスせずに、robots.txt と利用規約の事前確認リストを作って。

アクセス制御を迂回する手順を含めずに、公式 API と許可された巡回を比較して。

月次の推移

ダウンロード数2289

スター数-

2026-09 から集計方法を変更し、同名スキルを作者ごとに分けて集計し、全スキルを対象にしました。破線は変更前の月で、変更後のデータとは直接比較せず、変更をまたぐ増減も計算していません。

月	ダウンロード数	前月比	スター数
2026-09	2289	—	-
2026-08	2099	+12.0%	-
2026-07	1874	+19.4%	-
2026-06	1569	+12.0%	-
2026-05	1401	—	-
2026-03	711	—	-

SKILL.md 原文

作者が公開した元のファイルをテキストのまま表示しています。AlphaMoat による編集や審査はしていません。リンクはクリックできません。コマンドは内容を確認してから実行してください。取得日 2026-10-23。

1.4 KB・ClawHub v3.0.0

---
name: "crawler"
version: "3.0.0"
description: "Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations"
author: "BytesAgain"
homepage: "https://bytesagain.com"
source: "https://github.com/bytesagain/ai-skills"
tags: [web-scraping, scrapy, crawler, robots-txt, selenium]
category: "devtools"
---

すべて表示(全 36 行)


# Crawler

Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations. No API keys or credentials required — outputs reference documentation only.

## Commands

| Command | Description |
|---------|-------------|
| `intro` | Crawling vs scraping, robots.txt, sitemap |
| `standards` | HTTP caching, structured data, meta tags |
| `troubleshooting` | Anti-bot detection, JS rendering, encoding |
| `performance` | Concurrency, dedup, incremental, distributed |
| `security` | Legal landscape, ethical guidelines, proxies |
| `migration` | BeautifulSoup to Scrapy, requests to Playwright |
| `cheatsheet` | Scrapy commands, CSS/XPath, curl, user-agents |
| `faq` | Legality, JS pages, blocking, storage |

## Output Format

All commands output plain-text reference documentation via heredoc. No external API calls, no credentials needed, no network access.

---

*Powered by BytesAgain | bytesagain.com | [email protected]*