网络爬虫是当今获取数据不可或缺的重要手段。本书讲解了Python 爬虫的基础知识和必备技能，帮助零基础的读者快速入门并熟练使用爬虫。

全书共8 章。□□ 章讲解Python 开发环境的安装与配置以及Python 的基础语法知识。第□ 章讲解如何运用Requests 库和Selenium 库获取网页源代码。第3 章讲解如何运用正则表达式和BeautifulSoup 库解析和提取数据。第4 章深入讲解Selenium 库在商业实战中的进阶应用。第5 章讲解爬虫数据的处理与可视化。第6 章讲解爬虫数据结构化神器pandas 库，以及如何通过Python 在MySQL 数据库中读写数据。第7 章讲解如何运用多线程和多进程技术提高爬虫效率。第8 章讲解如何运用IP 代理应对网站的反爬机制。

本书对于编程新手来说非常友好，从Python 基础到爬虫原理再到实战应用，循序渐进地帮助读者打好基础。对于有一定Python 爬虫基础的读者，本书也针对实战中常见的疑点和难点提供了解决技巧。

本书讲解了Python 爬虫的基础知识和必备技能，帮助零基础的读者快速入门并熟练使用爬虫。本书囊括了媒体热点采集、金融数据爬取、网络文件下载、电商数据研究等四大类4□个爬虫实战案例，共计3000余行代码，涉及17个网站的数据与文件获取，详解了Requests 库、Selenium 库、正则表达式、BeautifulSoup 库、多线程多进程爬虫、IP 反爬机制应对等知识。

笔者编写的《Python金融大数据挖掘与分析全流程详解》于□019年出版面市后，陆续有不少读者表示对该书的爬虫部分非常感兴趣，想做进一步的学习。笔者由此萌生了一个想法：专门针对Python爬虫技术编写一套书籍，在保留之前核心内容的基础上，新增更多实战案例，方便读者在练中学，并体会Python爬虫在实战中的应用。

书稿编写完成后，为了更好地满足不同水平读者的需求，方便他们根据自身情况更灵活地学习，笔者决定将书稿分为两册出版：□□册为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，主要针对编程零基础的读者；第二册为《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》，主要针对有一定Python爬虫编程基础并且需要进阶提高的读者。

本书为《零基础学Python网络爬虫案例实战全流程详解（入门与提高篇）》，分8章讲解了Python爬虫的基础知识和必备技能，帮助零基础的读者快速入门并熟练使用爬虫。

□□章从Python开发环境的安装与配置讲起，循序渐进地过渡到Python的基础语法知识，包括变量、数据类型、语句、函数与库等，让新手读者能够自己输入简单的代码并使其运行起来。

任何爬虫任务的起点都是获取网页源代码。第□章讲解了Python爬虫中用于获取网页源代码的两个核心库—Requests库和Selenium库，并简单介绍了网页结构和HTML标签的知识，为第3章学习数据的解析与提取做好铺垫。

获取网页源代码后，接着需要从中解析与提取数据。第3章讲解了Python爬虫中解析与提取数据的两种核心方法—正则表达式和BeautifulSoup库，并通过丰富的案例进行实战演练，包括百度新闻、证券日报网、中证网、新浪微博的数据爬取，以及上海证券交易所PDF文件和豆瓣电影海报图片的下载等。

讲解完Python爬虫的基础知识和基本技能，第4章进一步深入讲解爬虫神器Selenium库，并通过案例讲解了商业实战中常用的大量进阶爬虫技术，案例包括新浪财经股票行情数据爬取、东方财富网（股吧、新闻、研报）相关数据爬取、上海证券交易所问询函信息爬取及PDF文件下载、银行间拆借利率爬取、雪球股票评论信息爬取、京东商品评价信息爬取、淘宝天猫商品销量数据爬取、网页自动投票等。

第5章讲解爬虫数据的处理与可视化，包括数据清洗、文本内容过滤、乱码问题处理、舆情评分、中文分词、词云图绘制等，让读者可以对获取的数据进行深入的整理与挖掘。

第6章讲解爬虫数据结构化与数据存储。首先介绍了爬虫数据结构化神器pandas库，并通过多个案例进行实战演练，包括新浪财经资产负债表获取、百度新闻文本数据结构化、百度爱企查股权穿透研究、天天基金网股票型基金信息爬取、集思录可转债信息爬取、东方财富网券商研报信息爬取等。然后介绍了用于存储和管理数据的MySQL数据库，以及如何通过Python在MySQL数据库中读写数据。

第7章讲解如何运用多线程和多进程技术提高爬虫效率，重点分析了线程和进程的概念、多线程和多进程的逻辑，并通过百度新闻的多线程和多进程爬取进行实战演练。

在爬虫任务中□让人烦恼的就是遇到网站的反爬机制，因此，第8章讲解了应对反爬机制的常用手段—IP代理的原理和使用方法，并以爬取微信公众号文章为例对IP代理进行了实战演练。

本书对于编程零基础的读者来说非常友好，从Python基础到爬虫原理再到实战应用，循序渐进地帮助读者打好基础。对于有一定Python爬虫基础的读者，本书也针对实战中常见的疑点和难点提供了解决技巧。

读者如果想进一步学习反爬机制应对、手机App内容爬取、爬虫框架、爬虫云服务器部署等技术，可以阅读《零基础学Python网络爬虫案例实战全流程详解（高级进阶篇）》。

由于笔者水平有限，书中难免有不足之处，恳请广大读者批评指正。读者除了可扫描封底上的二维码关注公众号获取资讯以外，也可通过“本书学习资源”中列出的方法与我们交流。

王宇韬

华能贵诚信托金融科技实验室发起人，宾夕法尼亚大学硕士，上海交通大学学士，曾在剑桥大学交流学习，两年内通过CFA 3 级、FRM □ 级、AQF。在华能贵诚信托自主研发了舆情监控系统、资金雷达、流程自动化AI 系统、机器□□面试系统等；专注于科技在金融领域的应用，编著有《Python 金融大数据挖掘与分析全流程详解》和《Python 大数据分析与机器学习商业案例实战》。

 

吴子湛

毕业于合肥工业大学计算机学院，就职于南京市秦淮区大数据中心；拥有多年IT 研发经验，擅长大数据分析与挖掘。

□□章　Python基础

1.1　Python快速上手

1.1.1　安装Python

1.1.□　编写□□个Python程序

1.1.3　PyCharm的安装与使用

1.1.4　Jupyter Notebook的使用

1.□　Python语法基础知识

1.□.1　变量、行、缩进与注释

1.□.□　数据类型：数字与字符串

1.□.3　数据类型：列表与字典、元组与集合

1.□.4　运算符

1.3　Python语句

1.3.1　if条件语句

1.3.□　for循环语句

1.3.3　while循环语句

1.3.4　try/except异常处理语句

1.4　函数与库

1.4.1　函数的定义与调用

1.4.□　函数的返回值与变量的作用域

1.4.3　常用内置函数介绍

1.4.4　库的导入与安装

★ 课后习题

 

 

第□章　爬虫□□步：获取网页源代码

□.1　爬虫核心库1：Requests库

□.1.1　如何查看网页源代码

□.1.□　用Requests库获取网页源代码：百度新闻

□.1.3　Requests库的“软肋”

□.□　爬虫核心库□：Selenium库

□.□.1　模拟浏览器及Selenium库的安装

□.□.□　用Selenium库获取网页源代码：新浪财经股票信息

□.3　网页结构分析

□.3.1　网页结构基础

□.3.□　网页结构进阶

★ 课后习题

 

第3章　爬虫第二步：数据解析与提取

3.1　用正则表达式解析和提取数据

3.1.1　正则表达式基础1：findall()函数

3.1.□　正则表达式基础□：非贪婪匹配之“(.*?)”

3.1.3　正则表达式基础3：非贪婪匹配之“.*?”

3.1.4　正则表达式基础4：自动考虑换行的修饰符re.S

3.1.5　正则表达式基础5：知识点补充

3.1.6　案例实战：提取百度新闻的标题、网址、日期和来源

3.□　用BeautifulSoup库解析和提取数据

3.□.1　解析特定标签的网页元素

3.□.□　解析特定属性的网页元素

3.□.3　提取标签中的网址

3.□.4　案例实战：新浪新闻标题和网址爬取

3.3　百度新闻爬取进阶探索

3.3.1　批量爬取多家公司的新闻

3.3.□　将爬取结果保存为文本文件

3.3.3　异常处理及□4小时不间断爬取

3.3.4　批量爬取多页内容

3.4　证券日报网爬取实战

3.4.1　用正则表达式爬取

3.4.□　用BeautifulSoup库爬取

3.5　中证网爬取实战

3.6　新浪微博爬取实战

3.7　上海证券交易所上市公司PDF文件下载

3.7.1　用Requests库下载文件的基本方法

3.7.□　初步尝试下载上海证券交易所上市公司PDF文件

3.8　豆瓣电影Top □50排行榜海报图片下载

3.8.1　爬取单页

3.8.□　爬取多页

★ 课后习题

 

 

第4章　爬虫神器Selenium库深度讲解

4.1　Selenium库进阶知识

4.□　新浪财经股票行情数据爬取

4.□.1　用Selenium库爬取股票行情数据

4.□.□　用新浪财经API爬取股票行情数据

4.3　东方财富网数据爬取

4.3.1　上市公司股吧帖子爬取

4.3.□　上市公司新闻爬取

4.3.3　上市公司研报PDF文件下载

4.4　上海证券交易所问询函信息爬取及PDF文件下载

4.4.1　批量下载单个页面上的PDF文件

4.4.□　批量下载多个页面上的PDF文件

4.4.3　汇总问询函信息并导出为Excel工作簿

4.5　银行间拆借利率爬取

4.6　雪球股票评论信息爬取

4.7　京东商品评价信息爬取

4.7.1　用Selenium库爬取

4.7.□　用Requests库爬取

4.8　淘宝天猫商品销量数据爬取

4.9　Selenium库趣味案例：网页自动投票

★ 课后习题

 

 

第5章　数据处理与可视化

5.1　数据清洗与优化技巧

5.1.1　常用的数据清洗手段及日期格式的统一

5.1.□　文本内容过滤—剔除噪声数据

5.1.3　数据乱码问题处理

5.1.4　数据爬后处理之舆情评分

5.□　数据可视化分析—词云图绘制

5.□.1　用jieba库实现中文分词

5.□.□　用wordcloud库绘制词云图

5.□.3　案例实战：新浪微博词云图绘制

★ 课后习题

 

 

第6章　数据结构化与数据存储

6.1　数据结构化神器—pandas库

6.1.1　用read_html()函数快速爬取网页表格数据

6.1.□　pandas库在爬虫领域的核心代码知识

6.□　新浪财经—资产负债表获取

6.3　百度新闻—文本数据结构化

6.3.1　将单家公司的新闻导出为Excel工作簿

6.3.□　将多家公司的新闻导出为Excel工作簿

6.4　百度爱企查—股权穿透研究

6.4.1　单层股权结构爬取

6.4.□　多层股权结构爬取

6.5　天天基金网—股票型基金信息爬取

6.5.1　爬取基金信息表格

6.5.□　爬取基金的详情页面网址

6.6　集思录—可转债信息爬取

6.7　东方财富网—券商研报信息爬取

6.7.1　爬取券商研报信息表格

6.7.□　爬取研报的详情页面网址

6.8　数据存储—MySQL快速入门

6.8.1　MySQL的安装

6.8.□　MySQL的基本操作

6.9　用Python操控数据库

6.9.1　用PyMySQL库操控数据库

6.9.□　案例实战：百度新闻数据爬取与存储

6.9.3　用pandas库操控数据库

★ 课后习题

 

 

第7章　Python多线程和多进程爬虫

7.1　理解线程与进程

7.1.1　计算机硬件结构基础知识

7.1.□　线程与进程

7.1.3　单线程、多线程与多进程

7.1.4　爬虫任务中的多线程与多进程

7.□　Python多线程爬虫编程实战

7.□.1　Python多线程编程基础知识

7.□.□　Python多线程编程进阶知识

7.□.3　案例实战：多线程爬取百度新闻

7.3　Python多进程爬虫编程实战

7.3.1　Python多进程编程基础知识

7.3.□　Python多进程编程进阶知识

7.3.3　案例实战：多进程爬取百度新闻

★ 课后习题

 

 

第8章　IP代理使用技巧与实战

8.1　结合Requests库使用IP代理

8.1.1　IP代理基础知识

8.1.□　IP代理的使用

8.□　IP代理实战1：用Requests库爬取公众号文章

8.□.1　直接用Requests库爬取

8.□.□　添加IP代理进行爬取

8.□.3　添加智能IP切换系统

8.3　结合Selenium库使用IP代理

8.4　IP代理实战□：用Selenium库爬取公众号文章

8.4.1　直接用Selenium库爬取

8.4.□　添加IP代理进行爬取

8.4.3　添加智能IP切换系统

★ 课后习题

后记