本书将围绕“市场竞争数据调研”这一项目需求进行讲解，开篇将该需求拆解为全网市场数据概览、京东市场数据调研、苏宁市场数据调研等几部分。文稿除开篇外分5个项目，项目一至项目三将讲解网络爬虫相关理论及实操。其中项目一以全网电商市场数据初步采集为主线，描述如何掌握以网络爬虫技术为基础的多个网站、平台数据采集分析工具的使用。项目二利用八爪鱼数据采集器采集京东商城商品数据（价格、销量、评价等数据），描述如何掌握利用八爪鱼完成网页数据采集技能。项目三则将利用Python网络爬虫进行苏宁商城市场竞争数据采集，描述如何掌握Python网络爬虫中常用的库及技巧。项目四、五则是数据采集后的数据操作，项目四讲述选择合理的方式将采集数据进行存储，项目五则讲述如何将杂乱有误的数据进行规范。本书可作为高职高专院校电子商务、市场营销等商科专业的教材，也可作为即将进入数据分析行业初学者的技能学习读本。

朱景伟，男，讲师，就职于义乌工商职业技术学院，商务数据分析与应用专业副主任，主要承担《商务数据采集》、《数据化营销》、《商务数据与应用基础》、《商务数据分析技术》、《电子商务大赛模拟软件》的教学工作

开?篇
项目一　平台类数据工具使用
任务1.1　指数类数据工具——百度指数
【基础知识】
一、趋势研究
二、需求图谱
三、人群画像
【任务实施】
【思考题】
任务1.2　电商平台数据工具——生意参谋
【基础知识】
一、首页
二、实时概况
三、流量和品类
四、交易和服务
五、市场
【任务实施】
【思考题】
任务1.3　插件类数据工具——店侦探
【基础知识】
一、店侦探简介
二、店侦探插件安装及使用
【任务实施】
一、店侦探插件数据采集
二、店侦探竞店数据采集
【思考题】
任务1.4　新媒体类数据工具——飞瓜
【基础知识】
【任务实施】
【思考题】
项目二　网络数据采集器使用
任务2.1　京东产品信息试采——八爪鱼基础教程
【基础知识】
一、HTTP请求响应过程
二、爬虫的基本原理
三、八爪鱼介绍
【任务实施】
一、八爪鱼简易模式的使用
二、八爪鱼自定义模式的使用
【思考题】
任务2.2　京东评论内容采集——Ajax
【基础知识】
【任务实施】
【思考题】
任务2.3　京东评论内容修正——XPath
【基础知识】
一、XPath概念
二、查看和调试XPath
三、XPath表达式
【任务实施】
【思考题】
任务2.4　京东评论图片采集——正则表达式
【基础知识】
【任务实施】
【思考题】
任务2.5　用户登录模式采集——自定义Cookie
【基础知识】
一、静态网页和动态网页
二、无状态HTTP
三、Cookie
四、Session
五、Cookie属性结构
【任务实施】
【思考题】
项目三　苏宁市场竞争数据采集
任务3.1　苏宁请求流程分析——Chrome＆Postman
【基础知识】
一、打开Chrome开发者工具
二、 Elements
三、 Network
【任务实施】
一、搜索结果列表页分析
二、苏宁产品详情页参数分析
三、苏宁产品评论参数分析
【思考题】
任务3.2　苏宁产品列表请求——Requests库的使用
【基础知识】
一、基本用法
二、高级用法
【任务实施】
【思考题】
任务3.3　列表响应数据提取——lxml＆RE库
【基础知识】
一、lxml库
二、RE库
【任务实施】
一、苏宁产品URL提取
二、苏宁clusterId提取
【思考题】
任务3.4　评论响应数据输出——JSON
【基础知识】
一、JSON基础知识
二、JSON用法
【任务实施】
【思考题】
任务3.5　苏宁用户账号登录——Selenium＆ChromeDriver
【基础知识】
一、环境配置
二、基础用法
【任务实施】
【思考题】
项目四　采集数据存储
任务4.1　最简单的文件型存储——Excel、CSV文件
【基础知识】
一、Excel文件
二、CSV文件
【任务实施】
一、使用Excel存储数据
二、使用CSV存储数据
三、Excel与CSV文件互转
【思考题】
任务4.2　最普通的关系型数据库——MySQL
【基础知识】
一、MySQL认知
二、MySQL的安装
三、MySQL可视化客户端的使用
【任务实施】
一、MySQL数据库的数据操作
二、MySQL数据库与Excel文件的交互
【思考题】
任务4.3　最潮流的分布式数据库——MongoDB
【基础知识】
一、MongoDB认知
二、MongoDB的安装
三、MongoDB可视化客户端的使用
【任务实施】
【思考题】
项目五　数据清洗
任务5.1　数据规范处理——表格规范
【基础知识】
一、数据类型
二、一维表vs二维表
【任务实施】
一、数据类型转换
二、数据结构转换
【思考题】
任务5.2　错误数据处理——查错补缺
【基础知识】
【任务实施】
一、缺失值处理
二、重复值处理
三、逻辑错误处理
【思考题】
任务5.3　文本数据处理——文本操作
【基础知识】
【任务实施】
一、查找替换
二、单元格特殊字符去除
三、文本数据提取
【思考题】
任务5.4　无序数据处理——筛选排序
【基础知识】
一、逻辑“与”“或”“非”
二、排序依据
【任务实施】
一、数据筛选
二、数据排序
【思考题】
任务5.5　数据分合处理——拆分合并
【基础知识】
【任务实施】
一、数据拆分
二、数据合并
三、合并单元格拆分
【思考题】
参考文献