Name: Crawler
Author: bytesagain3

據 AlphaMoat 統計,截至 2026-09,Crawler 累計下載 2,289 次、獲 0 個星標,在全部 5,078 個 AI 技能中排名第 4,240 位,在「資料分析」分類(399 個)中排名第 322 位。

累計安裝

122

累計下載

2289

星標

全站排名

#4,240

全站前 84% · 「資料分析」前 81%

平台	累計安裝	累計下載	星標	評論
ClawHub ↗	63	2263	-	-
SkillHub ↗	122	2289	-	—

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

它按主題提供純文字參考內容，不呼叫外部 API、不需要憑證，也不會自行聯網。使用抓取建議時應確保具有合法授權，優先使用官方 API、遵守網站條款與 robots.txt，並避免以代理、指紋或驗證碼規避訪問控制。

資料釋出於 2026-10-29

可以用來做什麼

查閱 robots.txt、抓取框架或網頁渲染的參考說明
規劃遵守網站規則的抓取流程
比較 Scrapy 與其他網頁採集方案的遷移考慮

什麼時候用

需要參考爬蟲概念、排錯或合規要點，並僅對獲准採集的網站採取行動時

示例提示詞

以下是根據技能文件生成的示例,不代表實際執行結果。

不訪問網站，整理一份檢查 robots.txt 和網站條款的抓取前清單。

比較官方 API 與獲准爬取的方案，不提供繞過訪問控制的步驟。

月度資料趨勢

累計下載2289

星標-

2026-09 起統計方法調整:同名技能按作者分別統計,並覆蓋全部技能。圖中虛線為調整前的月份,與之後的資料不直接比較,也不計算跨越調整的增長。

月份	累計下載	環比	星標
2026-09	2289	—	-
2026-08	2099	+12.0%	-
2026-07	1874	+19.4%	-
2026-06	1569	+12.0%	-
2026-05	1401	—	-
2026-03	711	—	-

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-10-23。

1.4 KB · ClawHub v3.0.0

---
name: "crawler"
version: "3.0.0"
description: "Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations"
author: "BytesAgain"
homepage: "https://bytesagain.com"
source: "https://github.com/bytesagain/ai-skills"
tags: [web-scraping, scrapy, crawler, robots-txt, selenium]
category: "devtools"
---

展開全部(共 36 行)


# Crawler

Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations. No API keys or credentials required — outputs reference documentation only.

## Commands

| Command | Description |
|---------|-------------|
| `intro` | Crawling vs scraping, robots.txt, sitemap |
| `standards` | HTTP caching, structured data, meta tags |
| `troubleshooting` | Anti-bot detection, JS rendering, encoding |
| `performance` | Concurrency, dedup, incremental, distributed |
| `security` | Legal landscape, ethical guidelines, proxies |
| `migration` | BeautifulSoup to Scrapy, requests to Playwright |
| `cheatsheet` | Scrapy commands, CSS/XPath, curl, user-agents |
| `faq` | Legality, JS pages, blocking, storage |

## Output Format

All commands output plain-text reference documentation via heredoc. No external API calls, no credentials needed, no network access.

---

*Powered by BytesAgain | bytesagain.com | [email protected]*