Iván

Scrape

資料分析v1.0.0
作者:Iván更新於 2026-05-11scrape@clawhub_ivangdavila/scrape
網頁抓取#Scrape#Gdpr#Web Scraping

據 AlphaMoat 統計,截至 2026-10,Scrape 累計下載 12,891 次、獲 10 個星標,按累計下載量在本次參與排名的 10,914 個 AI 技能中排名第 2,157 位,在「資料分析」分類(915 個)中排名第 210 位。

列表預設按累計下載量排序,也可按星標排序;詳情頁排名按累計下載量計算。

累計下載
1.3萬
星標
10
全站下載量排名
#2,157
全站前 20% · 「資料分析」前 23%
平台累計下載星標評論
ClawHub ↗1.1萬9-
SkillHub ↗1.3萬10—

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

抓取前先取 {domain}/robots.txt 檢查目標路徑是否被禁,再看服務條款裡有沒有明確禁止抓取。請求之間至少間隔數秒,登入後的資料未經授權不能抓,涉及個人資料還要考慮同意要求。 檢查 robots.txt 本身不代表取得抓取授權;遵守服務條款和適用法律,必要時先取得許可,盡量減少個人資料並限制請求頻率。

資料釋出於 2026-10-27

可以用來做什麼

  • 批次抓取公開價格與掛牌資訊
  • 在動手前評估一次抓取是否合規

什麼時候用

  • 要抓別人的站點時
  • 抓取範圍涉及個人資訊時

示例提示詞

以下是根據技能文件生成的示例,不代表實際執行結果。

幫我看看這個站點能不能抓,先查 robots.txt
寫個限速的抓取指令碼,只抓公開資料

月度資料趨勢

累計下載1.3萬
591596621.3萬2026-03 · 累計下載 64322026-05 · 累計下載 82442026-06 · 累計下載 85962026-07 · 累計下載 97132026-08 · 累計下載 1.1萬2026-09 · 累計下載 1.1萬2026-10 · 累計下載 1.3萬26-0326-0926-10
星標10
89102026-03 · 星標 82026-05 · 星標 102026-06 · 星標 102026-07 · 星標 102026-08 · 星標 102026-09 · 星標 102026-10 · 星標 1026-0326-0926-10

2026-09 起統計方法調整:同名技能按作者分別統計,並覆蓋全部技能。圖中虛線為調整前的月份,與之後的資料不直接比較,也不計算跨越調整的增長。

月份累計下載環比星標
2026-101.3萬—10
2026-091.1萬—10
2026-081.1萬+9.9%10
2026-079713+13.0%10
2026-068596+4.3%10
2026-058244—10
2026-036432—8

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-10-23。

1.8 KB · ClawHub v1.0.0
---
name: Scrape
description: Legal web scraping with robots.txt compliance, rate limiting, and GDPR/CCPA-aware data handling.
---

## Pre-Scrape Compliance Checklist

Before writing any scraping code:

1. **robots.txt** — Fetch `{domain}/robots.txt`, check if target path is disallowed. If yes, stop.
展開全部(共 39 行)
2. **Terms of Service** — Check `/terms`, `/tos`, `/legal`. Explicit scraping prohibition = need permission.
3. **Data type** — Public factual data (prices, listings) is safer. Personal data triggers GDPR/CCPA.
4. **Authentication** — Data behind login is off-limits without authorization. Never scrape protected content.
5. **API available?** — If site offers an API, use it. Always. Scraping when API exists often violates ToS.

## Legal Boundaries

- **Public data, no login** — Generally legal (hiQ v. LinkedIn 2022)
- **Bypassing barriers** — CFAA violation risk (Van Buren v. US 2021)
- **Ignoring robots.txt** — Gray area, often breaches ToS (Meta v. Bright Data 2024)
- **Personal data without consent** — GDPR/CCPA violation
- **Republishing copyrighted content** — Copyright infringement

## Request Discipline

- **Rate limit**: Minimum 2-3 seconds between requests. Faster = server strain = legal exposure.
- **User-Agent**: Real browser string + contact email: `Mozilla/5.0 ... (contact: [email protected])`
- **Respect 429**: Exponential backoff. Ignoring 429s shows intent to harm.
- **Session reuse**: Keep connections open to reduce server load.

## Data Handling

- **Strip PII immediately** — Don't collect names, emails, phones unless legally justified.
- **No fingerprinting** — Don't combine data to identify individuals indirectly.
- **Minimize storage** — Cache only what you need, delete what you don't.
- **Audit trail** — Log what, when, where. Evidence of good faith if challenged.

For code patterns and robots.txt parser, see `code.md`

「資料分析」分類下的熱門技能

全能金融爬蟲資料分析

中國金融機構資料爬取與分析綜合 Skill v12.0.0。2334家/43大類機構名單、60+財經媒體源輿情、 A股報告/公告/研報、60+種查詢多源金融資料(自動降級+快取)、爬取排程與網頁操作增強、 即時資料中樞、24 技術指標引擎、多源證據融合、110 MCP 工具 + 10 Resource + 14 Prompt。 🆕 v12.0.0 四條線(資訊獲取 / 打包下載 / 資料分析 / 登入): 編排:gather_info() 一次跑完"路由→抓取→去佔位→質量分→能力邊界→回執→打包", 8 類意圖各帶問法、輸入輸出、典型耗時與 not_for(說清哪件事做不了)。 誠實:反爬佔位條目一律剔除並記賬,空結果報 E_SOURCE_EMPTY,不把假資料判成 B 級成功。 交付:包內自帶 manifest.json(逐檔案 sha256),verify 查得出改動/缺失/多塞, 批次下載單條失敗不中斷整批,失敗清單可直接只重下那幾條。 登入:Cookie 由使用者匯出或掃碼接管,檔案化 + 健康度四檔,對外輸出全脫敏(值永不回顯)。 何時觸發:爬取機構、輿情爬取、東方財富、公告下載、即時行情、技術指標、統一查詢、 交付包、批次重下、我已經登入了、登入態還有效嗎(完整觸發詞見下方 auto_trigger)。

↓ 77萬★ 288user_9d5a2a39
鋼聯AI - 智慧問數資料分析

大宗商品價格資料查詢技能。用於查詢大宗商品期現貨價格、宏觀經濟指標、產業鏈供需資料、進出口庫存資料、金融市場資料等。當用戶詢問:(1) 期貨/現貨價格查詢,如"螺紋鋼價格"、"銅期貨收盤價"; (2) 歷史行情或趨勢分析;(3) 區域或企業價格對比;(4) 宏觀經濟指標,如GDP、CPI;(5) 產業鏈上下游資料;(6) 多市場金融資料(期權、股票、債券、外匯);(7) 結算確認單生成時觸發此技能。

↓ 70.5萬★ 6u_9ed3401d
smart-charts資料分析

32種圖表,3 個主題,2步生成: 1.上傳資料 — 將 CSV / Excel / JSON 等格式的資料檔案拖入對話方塊; 2.檢視結果 — 互動式圖表(HTML),可儲存圖表為圖片.

↓ 60.5萬★ 135user_5b28ea14
AdMapix資料分析

AdMapix 的取數層:把廣告與應用相關的查詢轉成介面呼叫,只回原始 JSON。

↓ 57.5萬★ 304fly0pants
論文配圖一鍵生成資料分析

論文配圖一鍵生成:一條命令從 JSON/CSV/Excel 生成頂刊級學術圖表,科研繪圖 與期刊配圖全場景覆蓋。40 種圖表(森林圖/KM 生存曲線(自動風險表)/競爭風險累計發生率/ROC/校準 曲線/決策曲線 DCA/列線圖/RCS 非線性劑量反應/亞組分析森林圖/RMST 限制平均生存時間/Galbraith 徑向圖/火山圖/雨雲圖/山脊圖/啞鈴圖/游泳圖(逐例時長+里程碑)/ 腫瘤緩解瀑布圖/UpSet 交集/PRISMA 流程圖/漏斗/BA 一致性/PCA/熱圖/箱線/小提琴/ 組合圖/Cox 多因素迴歸森林圖等),9 套配色(含色盲安全 Okabe-Ito 與期刊色板),9 種期刊投稿預設, YAML 流水線一條命令出全套論文圖,一次渲染多格式匯出(TIFF/PNG/PDF), PDF 重疊門禁,600dpi。純本地執行,資料不出機,中文零配置。適用:寫論文/ 投稿要配圖、把資料變成可投稿圖表、批次重出全套圖。不適用:文字潤色/翻譯/ 改寫(請用寫作類工具);商業報表/儀表盤/海報裝飾;無資料支撐的純示意圖。

↓ 42.1萬★ 83user_481397b5
smart-charts資料分析

Intelligent chart generation and data analysis skill. Reads user-supplied data files (CSV/Excel/JSON), analyzes data characteristics with LLM assistance, auto-recommends and generates interactive ECharts visualizations. Use when the user asks to analyze data, generate charts, create visualizations, or work with tabular data files.

↓ 25.7萬★ 1user_814dbe54
股票/基金/期貨量化分析工具資料分析

全球智慧投研工具(stock-researcher)v13.0:多源資料 + 機率預測 + 可匯出報告。 核心能力: - 多源資料路由:按市場/類別選源,逐級降級;每個結果標註來源與時效等級;源不可用時明確標 unavailable - 全資產量化:股票/ETF/場外基金/指數/期貨(期限結構、基差、持倉、折溢價)多因子分析 - 機率預測:1d/5d/1M/3M/6M 經驗分佈 + 分位數 + 方向機率 + 區間,kNN 鄰域收縮融合全域性分佈; 樣本不足自動棄權,可按歷史命中樣本(同桶)做機率校準 - 證據鏈簡報:每條結論繫結來源、時間與資料質量,衝突訊號保留而不抹平 - 報告匯出:Word/PPT/PDF/Markdown/JSON/純文字,純標準庫渲染 + 可選第三方引擎 - MCP Server 24 工具,Claude Code 可直接呼叫;知識庫 12 介面卡雙向同步 三條鐵律: - 資料不裝:拿不到就報不可用,不拿 0 價、不拿空表冒充 - 預測不裝:機率來自歷史相似條件的經驗分佈,樣本不足就說不足,不硬給方向 - 評分≠盈利保證:任何結論都帶免責宣告

↓ 19.2萬★ 147user_9d5a2a39
Tavily Search資料分析

透過 Tavily 搜尋公開網頁,並回傳含連結與摘要的結構化結果。

↓ 16.5萬★ 286Xiaoran Li

Iván 的其他技能

資料月份:2026-10 · 下載/星標數聚合自公開技能註冊庫(ClawHub、SkillHub),按月更新。口徑說明見資料方法。