Python爬虫进阶：多线程优化小说爬虫，速度直接提升10倍（实战完整版）

多线程优化小说爬虫速度直接提升10倍实战完整版在上一篇博文中我们实现了一款基础的Python小说爬虫能够批量爬取小说章节、自动优化排版还原段落换行、空行格式并自动创建文件夹保存章节文件。不少小伙伴在评论区反馈单线程爬取速度太慢尤其是爬取几十章、上百章内容时需要等待很长时间。今天这篇我们就针对“速度瓶颈”问题通过多线程ThreadPoolExecutor对原有脚本进行优化让爬虫效率直接提升5~10倍同时保留原有所有功能。本文将完全衔接上一篇内容从单线程瓶颈分析、多线程核心原理、代码优化实现、计时对比测试、注意事项五个方面展开全程实战导向每一步都有详细解析最后附上完整可运行脚本帮助大家快速掌握多线程爬虫的核心技巧真正做到“学以致用”。一、回顾单线程爬虫的速度瓶颈在上一篇的实战中我们的单线程爬虫流程是这样的先获取小说章节列表然后循环遍历每一个章节依次发送请求、解析页面、提取内容、写入文件直到爬取完指定数量的章节。看似逻辑清晰但其中隐藏着一个致命的效率问题——90%的时间都在“等待”。单线程的核心缺陷的是“串行执行”必须等待前一个章节的所有操作请求→解析→保存全部完成才能开始下一个章节的爬取。而爬虫的核心耗时环节并不是解析文本或写入文件这两个操作CPU执行速度极快而是网络请求等待——发送请求后需要等待服务器响应这个过程通常需要几百毫秒甚至1~2秒在单线程模式下这段时间CPU完全处于空闲状态相当于“浪费”了大量资源。举个直观的例子爬取10章小说单线程每章平均耗时1秒其中0.9秒在等待网络响应总耗时约10秒而如果我们能同时发送10个请求让10章内容同时等待响应、同时解析保存总耗时就能压缩到1秒左右这就是多线程的核心价值——利用空闲的等待时间同时处理多个任务最大化利用资源。在上一篇的单线程脚本中我们已经添加了计时功能大家可以先运行单线程脚本记录下爬取10章的总耗时后续与多线程版本对比就能直观看到优化效果。二、多线程核心原理新手易懂版提到多线程很多新手会觉得“复杂、难上手”其实核心逻辑非常简单我们用一个生活化的例子就能讲明白假设你要给10个朋友送快递单线程模式就相当于“你一个人送完一个朋友的快递再去送下一个”路上的时间相当于网络等待全部浪费在往返途中而多线程模式就相当于“你找了5个帮手每个人负责送2个快递”大家同时出发、同时送件总耗时就是耗时最长的那一个帮手的送件时间效率大幅提升。对应到我们的小说爬虫中单线程1个“爬虫工人”依次处理10个章节任务总耗时10个章节的耗时之和多线程5个“爬虫工人”同时处理10个章节任务总耗时≈单个章节的最长耗时。在Python中实现多线程的方式有很多比如threading模块、ThreadPoolExecutor线程池等。对于爬虫场景我们最推荐使用concurrent.futures.ThreadPoolExecutor线程池原因有两个简单易用无需手动创建和管理线程线程池会自动分配任务、回收线程避免新手因手动管理线程导致的报错安全稳定可以设置最大线程数避免创建过多线程导致电脑资源耗尽同时也能避免因并发过高被网站反爬。这里需要特别说明Python中的多线程更适合处理“IO密集型任务”比如网络请求、文件读写而不是“CPU密集型任务”。我们的小说爬虫恰好是典型的IO密集型任务大部分时间在等待网络响应因此用多线程优化能达到立竿见影的提速效果。三、多线程脚本优化实现全程对比修改本次优化完全基于上一篇的单线程脚本不改变原有核心功能爬取内容、排版格式、文件保存方式仅添加多线程逻辑、完善异常处理确保大家能无缝衔接直接替换使用。下面我们分步骤讲解优化过程最后给出完整可运行脚本。3.1 新增依赖与导入单线程脚本中我们导入了requests、lxml、os、time四个模块多线程版本需要新增concurrent.futures.ThreadPoolExecutor用于创建线程池无需额外安装依赖Python3.2自带。新增导入代码fromconcurrent.futuresimportThreadPoolExecutor3.2 重构核心逻辑将单线程任务拆分为函数单线程脚本中我们将爬取、解析、保存的逻辑全部写在for循环中无法实现多线程并行多线程需要将“单个章节的爬取任务”拆分为一个独立的函数这样线程池才能将多个章节任务分配给不同的线程并行执行。我们定义一个名为crawl_chapter的函数接收一个章节列表项li作为参数函数内部实现“获取章节链接→请求页面→解析内容→写入文件”的完整逻辑与单线程中循环内的逻辑一致仅做了两点优化添加异常处理避免单个章节爬取失败导致整个脚本崩溃简化代码将文本过滤、排版的逻辑用列表推导式简化提升代码可读性。核心函数代码defcrawl_chapter(i):try:# 提取章节链接拼接完整URL与单线程逻辑一致ai.xpath(./a/href)[0]urlurl_parta# 请求章节详情页与单线程逻辑一致responserequests.get(urlurl,headersheaders)response.encodingutf-8treeetree.HTML(response.text)# 提取章节标题与单线程逻辑一致titletree.xpath(//*[idneirong]/h1/text())chapter_titletitle[0].strip()iftitleelse无标题章节# 提取并优化正文排版与单线程逻辑一致简化代码text_listtree.xpath(//*[idtxt]//text())# 过滤空文本清理多余空格lines[t.strip()fortintext_listift.strip()]# 段落之间空一行保持小说排版content\n\n.join(lines)full_contentf\n{chapter_title}\n\n{content}\n\n# 写入文件与单线程逻辑一致withopen(fnovel/{chapter_title}.txt,w,encodingutf-8)asf:f.write(full_content)# 打印爬取进度print(f已写入{chapter_title})exceptExceptionase:# 异常处理单个章节失败不影响其他章节print(f爬取失败章节异常{e})3.3 线程池调用实现多线程并行爬取函数定义完成后我们需要创建线程池将章节列表任务分配给线程池执行。核心步骤如下提取前10章的章节列表与单线程中max_chapter10一致创建线程池设置最大线程数推荐5~10过多易被反爬用executor.map()方法将章节列表中的每个任务分配给线程池并行执行。线程池调用代码# 只取前10章与单线程的max_chapter10保持一致chapter_listli[:max_chapter]# 创建线程池设置最大线程数为5可根据电脑性能和网站反爬调整withThreadPoolExecutor(max_workers5)asexecutor:# 将章节列表中的每个li传递给crawl_chapter函数并行执行executor.map(crawl_chapter,chapter_list)这里的with语句会自动管理线程池的生命周期无需手动关闭线程非常安全便捷。max_workers5表示同时最多有5个线程在执行任务这个数值不是越大越好线程数过多会导致电脑CPU和内存占用过高同时也可能被网站识别为爬虫触发反爬机制线程数过少提速效果不明显5~10是爬虫场景的最优取值。3.4 保留计时功能对比单线程与多线程耗时为了直观看到多线程的提速效果我们保留上一篇中的计时逻辑在脚本开始和结束时分别记录时间最后输出总耗时与单线程的耗时进行对比。计时代码与单线程一致位置不变# 开始计时start_timetime.time()# 中间为核心爬取逻辑线程池调用、函数执行等# 结束计时end_timetime.time()print(f\n【多线程】总耗时{end_time-start_time:.2f}秒)四、完整可运行脚本多线程版 单线程版对比为了方便大家直接测试、对比效果下面同时给出“单线程计时版”和“多线程计时版”完整脚本大家可以分别运行观察两者的耗时差异直观感受多线程的提速效果。4.1 单线程计时版衔接上一篇无修改importrequestsfromlxmlimportetreeimportosimporttime# 开始计时start_timetime.time()# 确保 novel 文件夹存在ifnotos.path.exists(novel):os.mkdir(novel)url_parthttps://www.biquge365.neturl_htmlhttps://www.biquge365.net/newbook/83621/headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/138.0.0.0}responserequests.get(urlurl_html,headersheaders)response.encodingutf-8treeetree.HTML(response.text)litree.xpath(/html/body/div[1]/div[4]/ul/li)chapter_count0max_chapter10foriinli:ifchapter_countmax_chapter:breakai.xpath(./a/href)[0]urlurl_parta responserequests.get(urlurl,headersheaders)response.encodingutf-8treeetree.HTML(response.text)titletree.xpath(//*[idneirong]/h1/text())chapter_titletitle[0].strip()iftitleelsef第{chapter_count1}章text_listtree.xpath(//*[idtxt]//text())lines[t.strip()fortintext_listift.strip()]content\n\n.join(lines)full_contentf\n{chapter_title}\n\n{content}\n\nwithopen(fnovel/{chapter_title}.txt,w,encodingutf-8)asf:f.write(full_content)print(f已写入{chapter_title})chapter_count1# 结束计时end_timetime.time()print(f\n【单线程】总耗时{end_time-start_time:.2f}秒)4.2 多线程计时版优化后可直接运行importrequestsfromlxmlimportetreeimportosimporttimefromconcurrent.futuresimportThreadPoolExecutor# 开始计时start_timetime.time()# 确保 novel 文件夹存在与单线程逻辑一致ifnotos.path.exists(novel):os.mkdir(novel)# 基础配置与单线程完全一致无需修改url_parthttps://www.biquge365.neturl_htmlhttps://www.biquge365.net/newbook/83621/headers{User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Safari/138.0.0.0}# 获取章节列表与单线程逻辑一致responserequests.get(urlurl_html,headersheaders)response.encodingutf-8treeetree.HTML(response.text)litree.xpath(/html/body/div[1]/div[4]/ul/li)max_chapter10# 只取前10章控制爬取数量与单线程一致chapter_listli[:max_chapter]# 定义单个章节的爬取函数核心优化部分defcrawl_chapter(i):try:ai.xpath(./a/href)[0]urlurl_parta responserequests.get(urlurl,headersheaders)response.encodingutf-8treeetree.HTML(response.text)titletree.xpath(//*[idneirong]/h1/text())chapter_titletitle[0].strip()iftitleelse无标题章节text_listtree.xpath(//*[idtxt]//text())lines[t.strip()fortintext_listift.strip()]content\n\n.join(lines)full_contentf\n{chapter_title}\n\n{content}\n\nwithopen(fnovel/{chapter_title}.txt,w,encodingutf-8)asf:f.write(full_content)print(f已写入{chapter_title})exceptExceptionase:print(f爬取失败章节异常{e})# 多线程执行核心优化部分# max_workers5设置5个线程可根据需求调整withThreadPoolExecutor(max_workers5)asexecutor:executor.map(crawl_chapter,chapter_list)# 结束计时输出总耗时end_timetime.time()print(f\n【多线程】总耗时{end_time-start_time:.2f}秒)五、测试结果对比与核心注意事项5.1 耗时对比真实测试我们分别运行单线程和多线程脚本爬取10章小说测试环境为Windows10、Python3.9、网络稳定家用宽带测试结果如下单线程耗时多线程耗时提示每个人的网络环境、电脑性能不同耗时会有差异但多线程的提速效果是一致的通常能提升5~10倍。5.2 多线程爬取核心注意事项虽然多线程能大幅提升速度但在爬虫场景中我们需要注意以下几点避免脚本报错、被网站反爬确保爬取过程稳定。控制线程数避免并发过高max_workers建议设置为5~10不要超过20。线程数过多会导致电脑CPU、内存占用飙升同时大量并发请求会被网站识别为爬虫可能会出现403禁止访问、503服务不可用等报错甚至IP被封禁。必须添加异常处理多线程并行执行时如果某个章节爬取失败比如链接失效、页面结构变化如果没有异常处理会导致整个线程池崩溃其他章节也无法继续爬取。我们在crawl_chapter函数中添加了try-except异常处理确保单个章节失败不影响整体任务。保留请求头模拟浏览器访问与单线程一样多线程脚本也必须添加User-Agent请求头模拟正常浏览器访问避免被网站的反爬机制拦截。如果爬取时出现反爬可尝试更换User-Agent百度搜索“User-Agent大全”复制任意浏览器的User-Agent替换即可。避免重复写入文件多线程并行写入文件时虽然我们的脚本中每个章节对应一个独立的文件章节标题为文件名不会出现“多个线程写入同一个文件”的冲突但如果章节标题重复会出现文件覆盖的情况。如果遇到这种问题可在文件名中添加章节序号如“第1章-xxx.txt”。遵守网站规则合规爬取本脚本仅用于学习和个人研究请勿用于商业用途。爬取时请遵守网站的robots协议不要过度频繁爬取避免给网站服务器造成压力否则可能会被网站封禁IP。六、进阶思考与后续优化方向本次多线程优化我们实现了爬虫速度的大幅提升但还有很多可优化的方向后续博文会逐步讲解感兴趣的小伙伴可以持续关注线程池与进程池的对比当爬取章节数量极多上千章时多线程可能仍有瓶颈此时可以尝试使用进程池ProcessPoolExecutor进一步提升效率后续会专门讲解加入代理IP如果爬取数量过多IP容易被封禁可加入代理IP池自动切换IP避免反爬进度条显示添加tqdm模块实现爬取进度条直观看到爬取进度批量合并章节将所有章节合并为一个完整的txt文件方便离线阅读。总结本文衔接上一篇单线程小说爬虫完成了多线程优化的实战讲解核心亮点的是“不改变原有功能、仅优化速度”新手也能无缝衔接、直接使用。通过本次优化我们不仅实现了爬虫速度5~10倍的提升还掌握了ThreadPoolExecutor线程池的使用方法理解了多线程在IO密集型任务中的核心价值。整个优化过程分为三步拆分单线程任务为函数、创建线程池分配任务、添加异常处理保障稳定每一步都贴合实战代码可直接复制运行。大家可以分别运行单线程和多线程脚本对比两者的耗时差异直观感受多线程的魅力。如果在运行脚本过程中遇到问题比如反爬、报错、速度提升不明显欢迎在评论区留言我会一一解答。记得点赞、收藏、关注后续会分享更多Python爬虫进阶技巧帮助大家从新手成长为爬虫高手