C

智慧資料分析

資料分析v1.0.0
作者:user_af28adda更新於 2026-11-05chat2duckdb-cloudcba@user_af28adda/chat2duckdb-cloudcba
資料清洗報表生成資料洞察

據 AlphaMoat 統計,截至 2026-10,智慧資料分析 累計下載 15,821 次、獲 9 個星標,按累計下載量在本次參與排名的 10,914 個 AI 技能中排名第 1,774 位,在「資料分析」分類(915 個)中排名第 172 位。

列表預設按累計下載量排序,也可按星標排序;詳情頁排名按累計下載量計算。

累計下載
1.6萬
星標
9
全站下載量排名
#1,774
全站前 17% · 「資料分析」前 19%
平台累計下載星標評論
SkillHub ↗1.6萬9—

各平台的計數口徑不同,統計時間不一致。

這個技能是做什麼的

基於 DuckDB 引擎的高效資料分析工具;當用戶需要對 CSV/JSON/Parquet/Excel 等資料檔案進行 SQL 查詢、資料分析、資料抽樣或需要自動糾錯的查詢執行時使用

月度資料趨勢

累計下載1.6萬
50071.1萬1.7萬2026-09 · 累計下載 58082026-10 · 累計下載 1.6萬26-0926-10
星標9
89102026-09 · 星標 92026-10 · 星標 926-0926-10
月份累計下載環比星標
2026-101.6萬—9
2026-095808—9

SKILL.md 原文

以下是作者釋出的原始檔案,按純文字顯示,本站未做修改或稽核;其中的連結不可點選,命令請核實後再執行。抓取於 2026-11-20。

12 KB · SkillHub v1.0.0
---
name: chat2duckdb
description: 基于 DuckDB 引擎的高效数据分析工具;当用户需要对 CSV/JSON/Parquet/Excel 等数据文件进行 SQL 查询、数据分析、数据抽样或需要自动纠错的查询执行时使用
dependency:
  python:
    - duckdb>=1.5.0
    - pandas>=2.0.0
    - numpy>=1.24.0
    - openpyxl>=3.1.0
---
展開全部(共 373 行)

# Chat2DuckDB 数据分析

## 任务目标
- 本技能用于对数据文件进行快速、高效的 SQL 查询和分析
- 能力包含:数据文件注册为表、自然语言转 SQL、查询执行、数据抽样、错误校正、分析结论生成
- 触发条件:用户需要分析数据文件、执行 SQL 查询、探索数据结构、生成数据分析报告

## 前置准备
- 依赖说明:安装 DuckDB 和 pandas
  ```
  duckdb>=1.5.0
  pandas>=2.0.0
  ```

## 核心功能

### 1. 数据探索(Describe 模式)
- **基本信息**:总行数、列数、表结构
- **数值列统计**:平均值、中位数、标准差、最大/最小值
- **分类列统计**:唯一值数量、最常见值、Top 值分布
- **日期列统计**:最早/最晚日期、唯一日期数
- **数据质量**:缺失值统计、完整性分析

### 2. SQL 查询执行
- **智能 SQL 生成**:根据自然语言描述自动生成 SQL
- **自动重试机制**:最多 3 次智能重试
- **SQL 校正引擎**:
  - 语法错误自动修复(移除多余分号、逗号等)
  - 列名错误智能纠正(基于编辑距离匹配)
  - 引号规范化(双引号转单引号)
  - SQL 关键字大小写规范化
- **数据抽样**:支持按比例抽样查询,快速验证逻辑

### 3. 结果分析
- 查询结果格式化输出
- 执行时间和性能统计
- 数据洞察和业务建议生成

## 操作步骤

### 步骤 1:数据准备
确认数据文件路径(CSV/JSON/Parquet/Excel 等格式)

### 步骤 2:数据探索
```bash
# 完整统计模式(推荐)
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode describe

# 简单模式(仅基本信息)
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode describe --simple

# 导出分析报告
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode describe --output report.json

# Excel 文件(默认读取第一个工作表)
python scripts/duckdb_analyzer.py --file_path ./data.xlsx --mode describe

# Excel 文件(指定工作表)
python scripts/duckdb_analyzer.py --file_path ./data.xlsx --excel_sheet "sheetTitle" --mode describe
```

### 步骤 3:SQL 查询
```bash
# 基础查询
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT * FROM data LIMIT 10"

# 聚合查询
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT category, SUM(price * quantity) as total_sales FROM data GROUP BY category"

# 抽样验证(先在小样本上测试)
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT * FROM data WHERE price > 100" --sample_fraction 0.1

# 导出查询结果(支持 CSV/Excel/JSON/Parquet)
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT * FROM data" --output result.csv

python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT * FROM data" --output result.xlsx

# 持久化到 DuckDB 文件(后续可直接关联查询)
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --persist_db_path ./analysis.duckdb --persist_table \
  --sql "SELECT category, SUM(price * quantity) as total_sales FROM data GROUP BY category"
```

### 步骤 4:结果分析
- 查看查询结果和数据预览
- 分析执行时间和重试次数
- 根据结果生成业务洞察

### 步骤 5:数据持久化(可选)
- `--persist_db_path`:指定 DuckDB 数据库文件路径
- `--persist_table`:将注册表持久化为普通表(默认是临时表)
- 典型用途:跨批次积累结果、后续多表关联查询、沉淀分析基表

## 资源索引
- 核心脚本:[scripts/duckdb_analyzer.py](scripts/duckdb_analyzer.py)(DuckDB 操作核心,支持数据注册、查询执行、抽样、错误处理)
- 数据格式参考:[references/data-formats.md](references/data-formats.md)(支持的文件格式和最佳实践)

## 注意事项

### 最佳实践
1. **先探索后查询**:先用 describe 模式了解数据结构,再生成 SQL
2. **复杂查询先抽样**:对于复杂查询,先用 `--sample_fraction` 参数在小样本上验证
3. **合理使用 LIMIT**:查询结果超过 1000 行时,建议使用 LIMIT 或聚合查询
4. **利用自动校正**:SQL 错误时会自动重试和校正,无需手动干预

### 性能建议
- 大数据集使用抽样验证后再执行完整查询
- 聚合查询比全表查询更高效
- 可以设置 `--max_retries` 参数调整重试次数

### 错误处理
- 语法错误会自动修复(多余分号、逗号等)
- 列名错误会尝试匹配最相似的列名(编辑距离≤2)
- 表名错误会提示检查表名
- 所有校正操作都会在输出中显示

## 使用示例

### 示例 1:完整数据探索
**场景**:拿到新数据集,需要了解数据结构和质量

**命令**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode describe
```

**输出包含**:
- 基本信息:20 行,7 列
- 表结构:各字段名称和数据类型
- 数值列统计:price 的平均值 356.99,中位数 264.99 等
- 分类列统计:category 有 2 个唯一值,Electronics 出现 12 次
- 日期列统计:sale_date 从 2024-01-15 到 2024-02-02
- 数据质量:所有列数据完整,无缺失值

### 示例 2:销售分析查询
**场景**:分析各类别产品的销售表现

**命令**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT category, COUNT(*) as num_products, SUM(price * quantity) as total_revenue, AVG(price) as avg_price FROM data GROUP BY category ORDER BY total_revenue DESC"
```

**输出**:
```
执行 SQL: SELECT category, COUNT(*) as num_products, SUM(price * quantity) as total_revenue, AVG(price) as avg_price FROM data GROUP BY category ORDER BY total_revenue DESC

【查询结果】
执行时间:0.05 秒
重试次数:0
结果行数:2

数据预览:
   category  num_products  total_revenue  avg_price
Electronics            12       42938.24     356.99
  Furniture             8       19949.23     356.99
```

**业务洞察**:
- Electronics 类别贡献了 68% 的总收入
- 两个类别的平均价格相同,但 Electronics 销量更高

### 示例 3:区域销售对比
**场景**:分析不同区域的销售情况

**命令**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT region, COUNT(*) as num_orders, SUM(price * quantity) as total_sales, AVG(price) as avg_order_value FROM data GROUP BY region ORDER BY total_sales DESC"
```

### 示例 4:高价产品筛选(带抽样验证)
**场景**:找出高价产品(price > 200),先在 10% 样本上验证

**命令**:
```bash
# 先在样本上验证
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT product_name, category, price FROM data WHERE price > 200" --sample_fraction 0.1

# 验证无误后执行完整查询
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT product_name, category, price FROM data WHERE price > 200 ORDER BY price DESC"
```

### 示例 5:自动 SQL 校正
**场景**:SQL 有语法错误(多余分号),系统自动校正

**命令**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT * FROM data WHERE price > 100;"
```

**输出**:
```
【SQL 校正记录】
  ✓ 语法校正:;\s*$ -> 

【查询结果】
执行时间:0.03 秒
重试次数:1
结果行数:15
```

### 示例 6:导出查询结果
**场景**:将查询结果保存为 CSV、Excel、JSON 或 Parquet 文件

**CSV 导出**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT category, region, SUM(price * quantity) as sales FROM data GROUP BY category, region" \
  --output sales_summary.csv
```

**Excel 导出**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT category, region, SUM(price * quantity) as sales FROM data GROUP BY category, region" \
  --output sales_summary.xlsx
```

**JSON 导出**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT category, region, SUM(price * quantity) as sales FROM data GROUP BY category, region" \
  --output sales_summary.json
```

**Parquet 导出**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT category, region, SUM(price * quantity) as sales FROM data GROUP BY category, region" \
  --output sales_summary.parquet
```

**结果**:根据文件扩展名自动选择导出格式,保存为相应文件

### 示例 7:时间序列分析
**场景**:分析销售趋势

**命令**:
```bash
python scripts/duckdb_analyzer.py --file_path ./sales_data.csv --mode query \
  --sql "SELECT DATE_TRUNC('month', sale_date) as month, SUM(price * quantity) as monthly_sales FROM data GROUP BY month ORDER BY month"
```

## 故障排查

### 常见问题

**Q1: 文件找不到?**
```
错误:数据文件不存在:./data.csv
```
解决:检查文件路径是否正确,使用绝对路径试试

**Q2: Excel 读取失败?**
```
错误:无法注册数据表:...
```
解决:
- 确认文件为 `.xlsx` 或 `.xls`
- 如工作表不在第一个,添加参数 `--excel_sheet "工作表名"`
- 检查是否安装 `openpyxl`

**Q3: SQL 执行失败?**
系统会自动重试和校正 SQL,如果仍然失败,检查:
- 列名是否正确(区分大小写)
- SQL 语法是否正确
- 表名是否使用了默认的 'data'

**Q4: 内存不足?**
解决:
- 使用抽样查询:`--sample_fraction 0.1`
- 添加 LIMIT 限制结果数量
- 使用聚合查询而非全表查询

## 输出格式说明

### Describe 模式输出
- **基本信息**:数据规模概览
- **表结构**:字段名和数据类型
- **数值列统计**:描述性统计指标
- **分类列统计**:分布和频率信息
- **日期列统计**:时间范围信息
- **数据质量**:缺失值统计
- **数据样本**:前 5 行数据预览

### Query 模式输出
- **SQL 校正记录**:如果有自动校正,会显示校正内容
- **查询结果**:执行时间、重试次数、结果行数
- **数据预览**:完整的查询结果表格

## 高级技巧

### 1. 链式分析
先用 describe 了解数据,再执行多个查询:
```bash
# 步骤 1:探索数据
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode describe

# 步骤 2:基于了解执行针对性查询
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode query \
  --sql "SELECT category, AVG(price) as avg_price FROM data GROUP BY category"
```

### 2. 性能优化
对于大数据集:
```bash
# 先用 1% 样本快速验证
python scripts/duckdb_analyzer.py --file_path ./large_data.csv --mode query \
  --sql "SELECT ..." --sample_fraction 0.01

# 验证通过后再执行完整查询
python scripts/duckdb_analyzer.py --file_path ./large_data.csv --mode query \
  --sql "SELECT ..."
```

### 3. 数据质量检查
```bash
python scripts/duckdb_analyzer.py --file_path ./data.csv --mode describe | grep "缺失"
```

## SQL 语法约束

- 仅使用 DuckDB SQL 方言,不使用其他数据库的专有语法
- 字段名支持英文和中文查询
- 包含中文、空格、连字符、冒号等特殊字符的字段名,必须使用双引号
- 当中文字段未加双引号时,查询引擎会自动校正并重试
- 支持中文标点自动转换(如 `,;()` 转 `,;()`)
- 默认表名为 `data`
- 生成 SQL 时优先保证可执行性,再进行性能优化

## Pandas 使用边界

- Pandas 仅用于读取文件与将 DataFrame 注册到 DuckDB
- Pandas 可用于注册前的数据安全预处理(如 `inf/-inf -> NULL`)
- 不使用 Pandas 做业务聚合分析、统计计算或口径产出
- 最终分析结果必须通过 DuckDB SQL 查询 `data` 表生成

### 字段名示例

```sql
SELECT "销售渠道", SUM("售后退款-仅退货金额") AS total_return
FROM data
GROUP BY "销售渠道"
ORDER BY total_return DESC
LIMIT 10
```

```sql
SELECT 销售渠道, SUM(售后退款-仅退货金额) AS total_return
FROM data
GROUP BY 销售渠道
```

「資料分析」分類下的熱門技能

全能金融爬蟲資料分析

中國金融機構資料爬取與分析綜合 Skill v12.0.0。2334家/43大類機構名單、60+財經媒體源輿情、 A股報告/公告/研報、60+種查詢多源金融資料(自動降級+快取)、爬取排程與網頁操作增強、 即時資料中樞、24 技術指標引擎、多源證據融合、110 MCP 工具 + 10 Resource + 14 Prompt。 🆕 v12.0.0 四條線(資訊獲取 / 打包下載 / 資料分析 / 登入): 編排:gather_info() 一次跑完"路由→抓取→去佔位→質量分→能力邊界→回執→打包", 8 類意圖各帶問法、輸入輸出、典型耗時與 not_for(說清哪件事做不了)。 誠實:反爬佔位條目一律剔除並記賬,空結果報 E_SOURCE_EMPTY,不把假資料判成 B 級成功。 交付:包內自帶 manifest.json(逐檔案 sha256),verify 查得出改動/缺失/多塞, 批次下載單條失敗不中斷整批,失敗清單可直接只重下那幾條。 登入:Cookie 由使用者匯出或掃碼接管,檔案化 + 健康度四檔,對外輸出全脫敏(值永不回顯)。 何時觸發:爬取機構、輿情爬取、東方財富、公告下載、即時行情、技術指標、統一查詢、 交付包、批次重下、我已經登入了、登入態還有效嗎(完整觸發詞見下方 auto_trigger)。

↓ 77萬★ 288user_9d5a2a39
鋼聯AI - 智慧問數資料分析

大宗商品價格資料查詢技能。用於查詢大宗商品期現貨價格、宏觀經濟指標、產業鏈供需資料、進出口庫存資料、金融市場資料等。當用戶詢問:(1) 期貨/現貨價格查詢,如"螺紋鋼價格"、"銅期貨收盤價"; (2) 歷史行情或趨勢分析;(3) 區域或企業價格對比;(4) 宏觀經濟指標,如GDP、CPI;(5) 產業鏈上下游資料;(6) 多市場金融資料(期權、股票、債券、外匯);(7) 結算確認單生成時觸發此技能。

↓ 70.5萬★ 6u_9ed3401d
smart-charts資料分析

32種圖表,3 個主題,2步生成: 1.上傳資料 — 將 CSV / Excel / JSON 等格式的資料檔案拖入對話方塊; 2.檢視結果 — 互動式圖表(HTML),可儲存圖表為圖片.

↓ 60.5萬★ 135user_5b28ea14
AdMapix資料分析

AdMapix 的取數層:把廣告與應用相關的查詢轉成介面呼叫,只回原始 JSON。

↓ 57.5萬★ 304fly0pants
論文配圖一鍵生成資料分析

論文配圖一鍵生成:一條命令從 JSON/CSV/Excel 生成頂刊級學術圖表,科研繪圖 與期刊配圖全場景覆蓋。40 種圖表(森林圖/KM 生存曲線(自動風險表)/競爭風險累計發生率/ROC/校準 曲線/決策曲線 DCA/列線圖/RCS 非線性劑量反應/亞組分析森林圖/RMST 限制平均生存時間/Galbraith 徑向圖/火山圖/雨雲圖/山脊圖/啞鈴圖/游泳圖(逐例時長+里程碑)/ 腫瘤緩解瀑布圖/UpSet 交集/PRISMA 流程圖/漏斗/BA 一致性/PCA/熱圖/箱線/小提琴/ 組合圖/Cox 多因素迴歸森林圖等),9 套配色(含色盲安全 Okabe-Ito 與期刊色板),9 種期刊投稿預設, YAML 流水線一條命令出全套論文圖,一次渲染多格式匯出(TIFF/PNG/PDF), PDF 重疊門禁,600dpi。純本地執行,資料不出機,中文零配置。適用:寫論文/ 投稿要配圖、把資料變成可投稿圖表、批次重出全套圖。不適用:文字潤色/翻譯/ 改寫(請用寫作類工具);商業報表/儀表盤/海報裝飾;無資料支撐的純示意圖。

↓ 42.1萬★ 83user_481397b5
smart-charts資料分析

Intelligent chart generation and data analysis skill. Reads user-supplied data files (CSV/Excel/JSON), analyzes data characteristics with LLM assistance, auto-recommends and generates interactive ECharts visualizations. Use when the user asks to analyze data, generate charts, create visualizations, or work with tabular data files.

↓ 25.7萬★ 1user_814dbe54
股票/基金/期貨量化分析工具資料分析

全球智慧投研工具(stock-researcher)v13.0:多源資料 + 機率預測 + 可匯出報告。 核心能力: - 多源資料路由:按市場/類別選源,逐級降級;每個結果標註來源與時效等級;源不可用時明確標 unavailable - 全資產量化:股票/ETF/場外基金/指數/期貨(期限結構、基差、持倉、折溢價)多因子分析 - 機率預測:1d/5d/1M/3M/6M 經驗分佈 + 分位數 + 方向機率 + 區間,kNN 鄰域收縮融合全域性分佈; 樣本不足自動棄權,可按歷史命中樣本(同桶)做機率校準 - 證據鏈簡報:每條結論繫結來源、時間與資料質量,衝突訊號保留而不抹平 - 報告匯出:Word/PPT/PDF/Markdown/JSON/純文字,純標準庫渲染 + 可選第三方引擎 - MCP Server 24 工具,Claude Code 可直接呼叫;知識庫 12 介面卡雙向同步 三條鐵律: - 資料不裝:拿不到就報不可用,不拿 0 價、不拿空表冒充 - 預測不裝:機率來自歷史相似條件的經驗分佈,樣本不足就說不足,不硬給方向 - 評分≠盈利保證:任何結論都帶免責宣告

↓ 19.2萬★ 147user_9d5a2a39
Tavily Search資料分析

透過 Tavily 搜尋公開網頁,並回傳含連結與摘要的結構化結果。

↓ 16.5萬★ 286Xiaoran Li

資料月份:2026-10 · 下載/星標數聚合自公開技能註冊庫(ClawHub、SkillHub),按月更新。口徑說明見資料方法。