全能金融爬虫（优化爬取逻辑）

这个技能是做什么的

中国金融机构数据爬取工具 v4.8.0。全量金融机构名单（1540+家，36大类）、A股报告爬取（年报+券商研报+公告）、 产品解析（基金/ETF/FOF/股票/债券）、新闻资讯、反爬+双语展示、金融文档分析整理。 🆕 v4.8.0: **爬虫性能优化模块**（DNS缓存+连接池+响应缓存+并发请求+限流控制）， 批量请求性能提升 3-5 倍，测试 367→380。 🆕 v4.7.1: 零依赖核心加固（未安装 BeautifulSoup 时自适应解析/全量机构爬虫自动降级）、 runtests.py Windows 兼容、pytest.ini 清理、ZIP UTF-8 重写重复条目修复。 🆕 v4.7.0: **新增8类金融数据**（两融/大宗交易/ETF资金流/龙虎榜席位/股东增减持/LPR/国债收益率曲线/北交所）、 **同类数据横向对比与回测**、**监管政策文件下载与分析**、**浏览器类人爬取加固**（12+指纹反检测/鼠标模拟/资源泄漏修复）、 **13个新MCP工具**（38→51）、**严格日期过滤** + **爬取前确认**（dry_run）。 v4.6.0: **严格日期过滤**（修复 cutoff_time 死代码，强制按时间窗过滤）+ **日期核验统计**（date_validation 字段输出越界文章详情）+ **默认开启数据回测**（run_backtest=True）+ **月份识别 NLU**（支持 "7月"/"2026年7月" 等自然语言时间表达）+ **data_validator 日期窗口核验**。 v4.5.1: 回测过滤落地、批量回测汇总、爬取前确认强化、并发抓取加速、快照索引写入节流。 v4.5.0: 全页内容归档器、类人浏览器操作、多搜索引擎集成、4维数据回测增强、爬取前确认流程。 v4.4.0: 新增东方财富数据爬虫（基金净值/龙虎榜/北向资金/热门股票）、巨潮资讯官方公告爬虫、 金融监管机构爬虫（央行/证监会/金监总局）、海外机构扩展至 250+（新增主权基金/PE/做市商）、 文档导出全面添加原文链接、修复 12 个 Bug。 v4.3.1: 全网舆情爬虫（对话式）— 用户用自然对话指定 1+ 个机构（基金公司/上市公司/地方政府/证券公司/ 银行/保险/信托/私募/外资/期货/理财子公司/金融租赁等），从权威媒体 / 财经垂直 / 地方媒体 / 自媒体 / 国际媒体 5 大类共 48+ 站点爬取正面新闻+舆情，支持对话式触发、Word/Excel/CSV/JSON 导出、对话提示反馈、 情感/严重度分级（4档舆情+3档利好）、定时任务（schedule_crawl_task 派发）、URL+标题双维去重、 浏览器自动化兜底。 触发词 (含 v4.8 新增)：爬取机构、机构名单、网页爬取、产品解析、公告下载、券商研报、批量爬取、公司批量、 文档分析、整理文档、文档对比、基金分析、净值查询、定时爬取、自动爬取、打包ZIP、 压缩摘要、报告生成、撰写报告、研报生成、图表生成、文件解析、金融写作、 全网舆情、舆情监测、舆情爬取、新闻舆情、爬取正面、负面新闻、利空舆情、 对话式舆情、增加自定义目标、舆情定时、东方财富、龙虎榜、北向资金、监管政策、 央行政策、证监会公告、巨潮资讯、基金净值排行、 网页归档、全页抓取、搜索爬取、搜索引擎、数据回测、类人爬取、确认爬取、 并发爬取、加速爬取、回测过滤、回测汇总、样本预览、输入校验, 性能优化、DNS缓存、连接池、响应缓存、批量请求、限流控制、爬虫加速

「数据分析」分类下的热门技能