目录前言：爬虫之痛，不在代码，而在等待第一章：GIL的谎言与真相——为什么爬虫偏偏适合多线程？1.1 那顶叫做GIL的帽子1.2 什么时候多线程会失效？第二章：threading.Thread——从单线程到第一个并发爬虫2.1 最简单的并发：手撕五个线程2.2 五个隐患与优化方向第三章：线程池——不要再手动管理线程生命周期了3.1 ThreadPoolExecutor的基础用法3.2 调整max_workers的黄金法则第四章：生产者-消费者模式——让爬虫像工厂流水线4.1 queue.Queue的妙用第五章：线程安全——当多个线程想修改同一个变量5.1 竞态条件的现场重现5.2 共享数据的最佳实践第六章：代理IP与线程本地存储第七章：混合架构——多线程 + asyncio的终极形态第八章：错误处理与重试策略——让你的爬虫像坦克一样皮实8.1 带指数退避的重试装饰器8.2 熔断器模式第九章：实战——抓取新闻网站并增量存储9.1 完整代码实现前言：爬虫之痛，不在代码，而在等待写爬虫两年后，我终于意识到一个真相——百分之九十的时间，程序都在发呆。它不是在处理数据，不是在解析DOM，更不是在计算什么复杂的特征值。它只是在等待服务器返回HTTP响应。一次请求两百毫秒，循环一千次，就是两百秒。这期间你的CPU核心几乎处于空闲状态，风扇懒得转一下，电脑冰凉，而你在屏幕前抓狂。于是你自然想到多线程。Python的threading.Thread(target=func)看起来那么简单，可为什么网上都说Python多线程是“伪并行”？GIL是什么妖怪？为什么有的人用多线程爬虫快了三五倍，有的人反而更慢？本文将从一个真实的爬虫场景出发，从零构建一套基于threading的高效爬虫系统。不回避GIL问题，不滥用线程池，不讲空洞的理论，每一段代码都跑在真实的互联网上。你将学到：GIL的真正影响与爬虫场景的特殊性threading.Thread的正确打开方式与五个常见误区生产者-消费者模式下的队列调度