新时期,人类面向空间环境和活动特征的探索日益推进。而如需深入探索环境和活动特征,则需要地理时空大数据的介入。时空大数据同时兼具时间和空间维度,具有多源、海量、自动采集、更新快速的综合特点。
《地图时空大数据爬取与规划分析教程》是介绍一类特殊的大数据资源,即地图时空大数据,从数据爬取到分析技术的全套教程。书中首次全面提出了兴趣点、兴趣线和兴趣面的数据类型及爬取方法,同时展示了批量获取的动态出行数据或可达性数据在城市与交通研究中的应用。
《地图时空大数据爬取与规划分析教程》可作为空间规划、城市与交通规划、城市地理研究等领域的专业教材,以及计算机、地理信息系统等专业的参考书。
随着社会经济和科学技术的快速发展,人类对自身生活环境的认知已不仅仅局限于书本、文字、记忆、印象等。这种面向空间环境和活动特征的探索正以更加深入的方式推进,并反过来影响着人们的生活和习惯。同时,如何表述人类活动的客观世界和活动特征,已经成为研究的热点和重点。伴随着计算机技术的发展和互联网应用的普及,如何运用一手的数据开展分析并表征客观世界和人类活动,无疑也为学者提供了广阔的研究空间。这其中,数据起着非常关键的作用。而如需深入探索环境和活动特征,则需要地理时空大数据的介入。事实上,人们一直掌握着大量的地理空间和时间信息,但这些信息往往是破碎的、零散的、短暂的和不系统的,迫切需要格式化、系统性、多维多源的大数据作为支撑。
时空大数据同时兼具时间和空间维度,具有多源、海量、自动采集、更新快速的综合特点,能够实时地抽取阶段行为特征,感知、理解和预测导致某特定阶段行为发生的态势。与人的活动息息相关的各类时空大数据,如微博签到数据、出租车轨迹数据、手机信令数据、公交IC卡数据、道路卡口交通量数据等,无疑为我们提供了丰富、可以实时获取、感知并用于事件判断、分析的巨大信息。而在这些多源的时空大数据中,地图时空大数据是常常被忽视的一类。尽管我们在出行前会登录地图软件查询公交出行时耗、用餐前会登录地图软件查询周边餐馆信息,但其实这些简单的操作背后是地图供应商用巨资打造的基于地理空间信息的数据库,具备精准的全时空轨迹数据。因此,现成的时空大数据就在那里,却被“冷落”了。
地图时空大数据中隐藏有各类POI(兴趣点)信息,如餐馆、公交站、企业、停车场等,同时还包含LOI(兴趣线)信息和AOI(兴趣面)信息,前者如道路网、公交线网,后者如行政区划、公园绿地等。此外,地图时空大数据还包括栅格数据(如街景图)和动态交通出行数据(如分方式出行时耗、距离),这些数据量可能是数以千万计的。这些都是城市规划、交通规划等涉及空间规划分析的重要数据来源。如城市规划中的城市空间结构、居住就业分布、商业中心识别,交通规划中的交通线网(含道路和公交)平台建设、可达性分析,甚至交通模型中的参数标定。如果我们还停留在人工调查阶段,则会浪费高德、腾讯、百度这些科技企业为后人栽下的“乘凉树”。因此,何尝不站在巨人的肩膀上开展工作呢?正所谓“站得更高看得更远”。
“大数据时代”的到来,正在深刻改变着人们的工作、生活和思维方式。大数据分析与应用为规划设计、学术科研提供了新方法和新手段,为理性化规划带来新的契机,并且不断推动着城乡治理朝高效化、科学化和现代化方向发展。不仅如此,大数据辅助决策将成为规划行业改革、供给侧改革的外在动力。地图软件为规划、设计、研究提供了潜在而丰富的各类数据信息,这是不容忽视的。
基础篇
第1章 概述
1.1 数据源的变革
1.1.1 数据源的多样性
1.1.2 数据源的全样性
1.1.3 数据源的连续性
1.2 地图时空大数据
1.2.1 获取途径
1.2.2 数据类别
1.2.3 数据格式
1.3 章节安排
第2章 Python编程语言简介
2.1 Python编程语言特性
2.1.1 总体特性
2.1.2 编辑与运行环境
2.1.3 广泛应用
2.2 Python开发平台搭建
2.3 Python基础
2.3.1 数据类型与结构
2.3.2 控制结构
2.3.3 函数
2.3.4 模块与包
2.3.5 面向对象
2.3.6 文本文件读写
2.4 Python与ArcPy
2.4.1 ArcPy简介
2.4.2 ArcPy类与函数
2.4.3 ArcPy主要功能
第3章 ArcGIS软件与操作简介
3.1 ArcGIS软件简介
3.2 ArcMap基础操作
3.2.1 创建地图文档并加载数据
3.2.2 图形数据编辑
3.2.3 属性数据增删、计算与统计
3.2.4 专题图制作与输出
3.3 ArcMap常用的空间分析功能
3.3.1 缓冲区分析
3.3.2 叠置分析
3.3.3 网络分析
矢量数据采集与分析篇
第4章 兴趣点数据采集与分析
4.1 兴趣点(POI)概念与类别
4.2 “搜索API”解析
4.2.1 密钥申请
4.2.2 “搜索API”请求URL
4.2.3 “搜索API”返回数据
4.3 POI数据的批量采集
4.3.1 POI的类别与编码确定
4.3.2 程序编写
4.3.3 程序运行
4.3.4 数据结果
4.4 企业类型数据采集与分析
4.4.1 POI类别与编码确定
4.4.2 数据采集与存储
4.4.3 南京市主城区产业类型识别
4.5 公交站点数据采集与分析
4.5.1 POI类别与编码确定
4.5.2 数据采集与存储
4.5.5 昆山市公交服务范围覆盖率分析
4.6 快速路出入口数据采集与分析
4.6.1 POI类别与编码确定
4.6.2 数据采集与存储
4.6.3 南京市快速内环出入口设置合理性分析
第5章 兴趣线数据采集与分析
5.1 兴趣线(LOI)概念与类别
5.2 “交通态势API”解析
5.2.1 密钥申请
5.2.2 “交通态势API”请求URL
5.2.3 “交通态势API”返回数据
5.3 道路数据采集与分析
5.3.1 研究区域网格数据准备
5.3.2 程序编写
5.3.3 程序运行
5.3.4 南京市主城区晚高峰交通拥堵情况
5.4 公交线路数据的采集
5.4.1 公交线路查询
5.4.2 公交线路数据的批量采集
5.4.3 基于“坐标转换API”转换坐标
5.4.4 数据叉件生成
5.4.5 数据结果
5.5 南京市公交面积覆盖率分析
第6章 兴趣面数据采集与分析
6.1 兴趣面(AOI)概念与类别
6.2 行政区划面数据的采集
6.2.1 密钥申请
6.2.2 “行政区域查询API”分析
6.2.3 行政区域面数据的采集
6.2.4 数据结果
6.3 公园绿地数据采集与分析
6.3.1 地图响应页面分析
6.3.2 公园绿地面数据的批量采集
6.3.3 数据结果
6.4 南京市主城区公园绿地社会服务功能分析
6.4.1 研究数据与方法
6.4.2 公园绿地服务范围覆盖率分析
6.4.3 公园绿地服务重叠度分析
6.4.4 单位面积公园绿地服务人口数分析
……
栅格数据采集与分析篇
交通出行数据采集与分析篇
附录
参考文献