爬虫实战：从数据到产品 | PDF下载|ePub下载

第1 章 基础知识 ……………………………………………………………………………………… 1
1.1 什么是爬虫 ……………………………………………………………………………………. 1
1.2 数据获取渠道 ………………………………………………………………………………… 2
1.3 抓包分析工具 ………………………………………………………………………………… 4
1.4 爬虫和反爬虫的斗争 ……………………………………………………………………… 5
1.5 数据处理、分析和可视化 …………………………………………………………….. 20
1.6 延深阅读 ……………………………………………………………………………………… 21
第2 章 基于位置信息的爬虫Ⅰ ………………………………………………………………… 23
2.1 背景及目标 ………………………………………………………………………………….. 23
2.2 爬虫原理 ……………………………………………………………………………………… 24
2.3 数据来源分析 ………………………………………………………………………………. 26
2.4 简单的矩形区域抓取方式 …………………………………………………………….. 38
2.5 高级区域抓取方式 ……………………………………………………………………….. 46
2.6 坐标转换 ……………………………………………………………………………………… 49
2.7 存储数据的方式 …………………………………………………………………………… 49
2.8 数据导入 ……………………………………………………………………………………… 51
2.9 基本数据分析 ………………………………………………………………………………. 52
2.10 地图可视化 ………………………………………………………………………………… 56
2.11 轨迹可视化 ………………………………………………………………………………… 58
2.12 总结 …………………………………………………………………………………………… 60
第3 章 基于位置信息的爬虫Ⅱ ………………………………………………………………… 62
3.1 背景及目标 ………………………………………………………………………………….. 62
3.2 爬虫原理 ……………………………………………………………………………………… 62
3.3 优化方案一 ………………………………………………………………………………….. 71
3.4 优化方案二 ………………………………………………………………………………….. 75
3.5 优化方案三 ………………………………………………………………………………….. 82
3.6 导入数据到数据库 ……………………………………………………………………….. 97
3.7 基本数据分析及可视化 ………………………………………………………………. 100
3.8 总结 …………………………………………………………………………………………… 117
第4 章 网站信息抓取及可视化 ………………………………………………………………. 118
4.1 背景及目标 ………………………………………………………………………………… 118
4.2 网站API 分析 ……………………………………………………………………………. 118
4.3 数据抓取 ……………………………………………………………………………………. 122
4.4 数据导入 ……………………………………………………………………………………. 129
4.5 数据分析及可视化 ……………………………………………………………………… 133
4.6 总结 …………………………………………………………………………………………… 173
第5 章 基于逆向分析小程序的爬虫 ………………………………………………………… 174
5.1 背景及目标 ………………………………………………………………………………… 174
5.2 数据来源分析 …………………………………………………………………………….. 176
5.3 数据抓取方案 …………………………………………………………………………….. 177
5.4 转换数据格式 …………………………………………………………………………….. 195
5.5 总结 …………………………………………………………………………………………… 196
第6 章 从数据到产品 …………………………………………………………………………… 197
6.1 从一张机票说起 …………………………………………………………………………. 197
6.2 从价值探索到交付落地 ………………………………………………………………. 201
6.3 数据抓取 ……………………………………………………………………………………. 203
6.4 爬虫架构设计 …………………………………………………………………………….. 203
6.5 发现数据的价值 …………………………………………………………………………. 211
6.6 创新的不确定性 …………………………………………………………………………. 223
6.7 产品设计 ……………………………………………………………………………………. 226
6.8 产品交付 ……………………………………………………………………………………. 235
6.9 总结 …………………………………………………………………………………………… 236
· · · · · ·