Name: Crawler
Author: bytesagain3

据 AlphaMoat 统计,截至 2026-09,Crawler 累计下载 2,289 次、获 0 个星标,在全部 5,078 个 AI 技能中排名第 4,240 位,在「数据分析」分类(399 个)中排名第 322 位。

累计安装

122

累计下载

2,289

星标

全站排名

#4,240

全站前 84% · 「数据分析」前 81%

平台	累计安装	累计下载	星标	评论
ClawHub ↗	63	2,263	-	-
SkillHub ↗	122	2,289	-	—

各平台的计数口径不同,统计时间不一致。

这个技能是做什么的

它按主题提供纯文本参考内容，不调用外部 API、不需要凭证，也不会自行联网。使用抓取建议时应确保具有合法授权，优先使用官方 API、遵守网站条款与 robots.txt，并避免以代理、指纹或验证码规避访问控制。

资料发布于 2026-10-29

可以用来做什么

查阅 robots.txt、抓取框架或网页渲染的参考说明
规划遵守网站规则的抓取流程
比较 Scrapy 与其他网页采集方案的迁移考虑

什么时候用

需要参考爬虫概念、排错或合规要点，并仅对获准采集的网站采取行动时

示例提示词

以下是根据技能文档生成的示例,不代表实际运行结果。

不访问网站，整理一份检查 robots.txt 和网站条款的抓取前清单。

比较官方 API 与获准爬取的方案，不提供绕过访问控制的步骤。

月度数据趋势

累计下载2,289

星标-

2026-09 起统计方法调整:同名技能按作者分别统计,并覆盖全部技能。图中虚线为调整前的月份,与之后的数据不直接比较,也不计算跨越调整的增长。

月份	累计下载	环比	星标
2026-09	2,289	—	-
2026-08	2,099	+12.0%	-
2026-07	1,874	+19.4%	-
2026-06	1,569	+12.0%	-
2026-05	1,401	—	-
2026-03	711	—	-

SKILL.md 原文

以下是作者发布的原始文件,按纯文本显示,本站未做修改或审核;其中的链接不可点击,命令请核实后再运行。抓取于 2026-10-23。

1.4 KB · ClawHub v3.0.0

---
name: "crawler"
version: "3.0.0"
description: "Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations"
author: "BytesAgain"
homepage: "https://bytesagain.com"
source: "https://github.com/bytesagain/ai-skills"
tags: [web-scraping, scrapy, crawler, robots-txt, selenium]
category: "devtools"
---

展开全部(共 36 行)


# Crawler

Web crawling and scraping reference — robots.txt protocol, Scrapy framework, anti-bot detection, headless browsers, and legal considerations. No API keys or credentials required — outputs reference documentation only.

## Commands

| Command | Description |
|---------|-------------|
| `intro` | Crawling vs scraping, robots.txt, sitemap |
| `standards` | HTTP caching, structured data, meta tags |
| `troubleshooting` | Anti-bot detection, JS rendering, encoding |
| `performance` | Concurrency, dedup, incremental, distributed |
| `security` | Legal landscape, ethical guidelines, proxies |
| `migration` | BeautifulSoup to Scrapy, requests to Playwright |
| `cheatsheet` | Scrapy commands, CSS/XPath, curl, user-agents |
| `faq` | Legality, JS pages, blocking, storage |

## Output Format

All commands output plain-text reference documentation via heredoc. No external API calls, no credentials needed, no network access.

---

*Powered by BytesAgain | bytesagain.com | [email protected]*