厦门大学林子雨编著《大数据导论（第2版）》
ISBN:978-7-115-64185-4 定价：65元
人民邮电出版社 2024年7月第2版
教材目录
第 1 章 大数据概述…………………………….1
1.1 数据…………………………………………………1
1.1.1 数据的概念…………………………………1
1.1.2 数据的类型…………………………………2
1.1.3 数据的组织形式 ………………………….3
1.1.4 数据的生命周期 ………………………….3
1.1.5 数据的使用…………………………………3
1.1.6 数据的价值…………………………………4
1.1.7 数据爆炸…………………………………….5
1.1.8 数商…………………………………………..5
1.2 大数据时代……………………………………….6
1.2.1 第 3 次信息化浪潮 ………………………7
1.2.2 信息科技为大数据时代提供技术支撑…………………………………………..7
1.2.3 数据产生方式的变革促成大数据时代的来临…………………………………8
1.3 大数据的发展历程 …………………………….9
1.4 世界各国的大数据发展战略 ……………..11
1.4.1 美国…………………………………………12
1.4.2 英国…………………………………………13
1.4.3 欧盟…………………………………………13
1.4.4 韩国…………………………………………14
1.4.5 日本…………………………………………14
1.4.6 中国…………………………………………14
1.5 大数据的概念………………………………….17
1.5.1 数据量大…………………………………..17
1.5.2 数据类型繁多……………………………18
1.5.3 处理速度快……………………………….19
1.5.4 价值密度低……………………………….20
1.6 大数据的影响………………………………….20
1.6.1 大数据对科学研究的影响…………..20
1.6.2 大数据对社会发展的影响…………..22
1.6.3 大数据对就业市场的影响…………..23
1.6.4 大数据对人才培养的影响…………..23
1.7 大数据的应用………………………………….25
1.7.1 大数据在各个领域的应用…………..25
1.7.2 大数据应用的 3 个层次 ……………..26
1.8 大数据产业 …………………………………….27
1.9 大数据与数字经济…………………………..29
1.9.1 数字经济………………………………….29
1.9.2 大数据与数字经济的紧密关系 ……32
1.10 高校的大数据专业 …………………………33
1.10.1 大数据专业概述………………………34
1.10.2 大数据专业体系………………………35
1.10.3 大数据专业的编程语言…………….36
1.11 本章小结 ………………………………………38
1.12 习题……………………………………………..39
第 2 章 大数据与其他新兴技术的关系……………………………………….40
2.1 云计算……………………………………………40
2.1.1 云计算的概念……………………………40
2.1.2 云计算的服务模式和类型…………..43
2.1.3 云计算数据中心………………………..43
2.1.4 云计算的应用和产业 …………………45
2.2 物联网……………………………………………46
2.2.1 物联网的概念……………………………46
2.2.2 物联网的关键技术…………………….47
2.2.3 物联网的应用……………………………49
2.2.4 物联网产业链……………………………50
2.3 大数据与云计算、物联网的关系 ………50
2.4 人工智能 ………………………………………..51
2.4.1 人工智能的概念 ………………………..52
2.4.2 人工智能的关键技术………………….52
2.4.3 人工智能的应用 ………………………..56
2.4.4 人工智能产业……………………………60
2.4.5 大数据与人工智能的关系…………..63
2.5 区块链 ……………………………………………63
2.5.1 比特币概述……………………………….64
2.5.2 区块链的原理……………………………64
2.5.3 区块链的定义和应用………………….70
2.5.4 大数据与区块链的关系………………71
2.6 元宇宙 ……………………………………………73
2.6.1 元宇宙的概念……………………………73
2.6.2 元宇宙的基本特征 …………………….74
2.6.3 元宇宙的核心技术 …………………….75
2.6.4 大数据与元宇宙的关系………………77
2.7 本章小结 ………………………………………..77
2.8 习题……………………………………………….77
第 3 章 大数据基础知识………………….79
3.1 大数据安全……………………………………..79
3.1.1 传统数据安全……………………………80
3.1.2 大数据安全与传统数据安全的
不同…………………………………………80
3.1.3 大数据时代数据安全面临的
挑战…………………………………………81
3.1.4 大数据安全问题分类………………….82
3.1.5 大数据面临的具体安全威胁 ……….84
3.1.6 典型案例 ………………………………….86
3.2 大数据思维……………………………………..89
3.2.1 传统的思维方式 ………………………..90
3.2.2 大数据时代需要新的思维方式…….90
3.2.3 大数据思维方式 ………………………..91
3.2.4 运用大数据思维方式的具体实例…………………………………………95
3.3 大数据伦理 ………………………………….. 102
3.3.1 大数据伦理的概念………………….. 102
3.3.2 大数据伦理的典型案例 …………… 103
3.3.3 大数据的伦理问题………………….. 106
3.4 数据共享……………………………………… 111
3.4.1 数据孤岛问题 ………………………… 111
3.4.2 数据孤岛问题产生的原因………… 112
3.4.3 消除数据孤岛的重要意义………… 113
3.4.4 实现数据共享所面临的挑战…….. 113
3.4.5 推进数据共享开放的举措………… 115
3.4.6 数据共享案例 ………………………… 116
3.5 数据开放……………………………………… 120
3.5.1 政府开放数据的理论基础………… 120
3.5.2 政府信息公开与政府数据开放的联系与区别 ……………………………. 123
3.5.3 政府数据开放的重要意义………… 124
3.6 大数据交易 ………………………………….. 126
3.6.1 大数据交易概述……………………… 126
3.6.2 大数据交易的发展现状 …………… 127
3.6.3 大数据交易平台……………………… 129
3.7 大数据治理 ………………………………….. 133
3.7.1 概述………………………………………. 133
3.7.2 大数据治理要素和治理原则…….. 139
3.7.3 大数据治理的范围………………….. 141
3.8 本章小结……………………………………… 144
3.9 习题…………………………………………….. 144
第 4 章 大数据的应用 …………………… 146
4.1 大数据在互联网领域的应用…………… 146
4.2 大数据在生物医学领域的应用……….. 147
4.2.1 流行病预测 ……………………………. 147
4.2.2 智慧医疗……………………………….. 149
4.2.3 生物信息学 ……………………………. 149
4.3 大数据在物流领域的应用………………. 150
4.3.1 智能物流的概念……………………… 150
4.3.2 大数据是智能物流的关键 …………150
4.3.5 中国智能物流骨干网—菜鸟…..151
4.4 大数据在城市管理领域的应用…………152
4.4.1 智能交通…………………………………152
4.4.2 环保监测…………………………………152
4.4.3 城市规划…………………………………153
4.4.4 安防……………………………………….154
4.5 大数据在金融领域的应用 ……………….154
4.5.1 高频交易…………………………………154
4.5.2 市场情绪分析………………………….155
4.5.3 信贷风险分析………………………….155
4.5.4 大数据征信……………………………..156
4.6 大数据在汽车领域的应用 ……………….157
4.7 大数据在零售领域的应用 ……………….157
4.7.1 发现关联购买行为 …………………..158
4.7.2 客户群体细分………………………….158
4.7.3 供应链管理……………………………..159
4.8 大数据在餐饮领域的应用 ……………….159
4.8.1 餐饮领域拥抱大数据………………..160
4.8.2 餐饮 O2O………………………………..160
4.9 大数据在电信和能源领域的应用……..161
4.10 大数据在体育和娱乐领域的应用……162
4.10.1 训练球队……………………………….163
4.10.2 投拍影视作品 ………………………..163
4.10.3 预测比赛结果 ………………………..164
4.11 大数据在安全领域的应用 ……………..164
4.11.1 大数据与国家安全………………….164
4.11.2 应用大数据技术防御网络攻击….165
4.11.3 警察应用大数据工具预防犯罪….165
4.12 大数据在日常生活中的应用…………..166
4.13 本章小结……………………………………..168
4.14 习题 ……………………………………………168
第 5 章 大数据的硬件环境 ……………169
5.1 服务器的性能指标 …………………………169
5.2 服务器的分类及选购 ……………………..171
5.3 系统的性能评估…………………………….172
5.3.1 CPU……………………………………….173
5.3.2 内存……………………………………….174
5.3.3 存储……………………………………….175
5.3.4 网卡……………………………………….178
5.4 硬件系统分析………………………………..179
5.5 网络设备………………………………………180
5.6 系统组网方案设计…………………………182
5.6.1 网络需求分析………………………….182
5.6.2 网络结构设计………………………….183
5.7 数据中心………………………………………184
5.7.1 数据中心的分类………………………185
5.7.2 数据中心的组成………………………185
5.7.3 数据中心的上线………………………186
5.8 本章小结………………………………………186
5.9 习题……………………………………………..187
第 6 章 数据采集与预处理……………188
6.1 数据采集………………………………………188
6.1.1 数据采集的概念………………………188
6.1.2 数据采集的 3 大要点 ……………….189
6.1.3 数据采集的数据源…………………..189
6.1.4 数据采集方法………………………….190
6.1.5 网络爬虫………………………………..192
6.2 数据清洗………………………………………197
6.2.1 数据清洗的应用领域 ……………….197
6.2.2 数据清洗的实现方式 ……………….197
6.2.3 数据清洗的内容………………………198
6.2.4 数据清洗的注意事项 ……………….199
6.2.5 数据清洗的基本流程 ……………….199
6.2.6 数据清洗的评价标准 ……………….200
6.2.7 数据清洗的行业发展 ……………….200
6.3 数据集成和数据转换 ……………………..201
6.3.1 数据集成………………………………..201
6.3.2 数据转换 ………………………………..202
6.4 数据归约 ………………………………………205
6.5 数据脱敏 ………………………………………207
6.6 本章小结 ………………………………………208
6.7 习题……………………………………………..208
第 7 章 数据存储与管理………………..210
7.1 传统的数据存储与管理技术 ……………210
7.1.1 文件系统 ………………………………..210
7.1.2 关系数据库……………………………..211
7.1.3 数据仓库 ………………………………..212
7.1.4 并行数据库……………………………..214
7.2 大数据时代的数据存储与管理技术….215
7.2.1 分布式文件系统 ………………………215
7.2.2 NewSQL 和 NoSQL 数据库……….215
7.2.3 云数据库 ………………………………..217
7.2.4 数据湖 ……………………………………218
7.3 大数据处理架构 Hadoop …………………222
7.3.1 Hadoop 的特性 ………………………..222
7.3.2 Hadoop 生态系统……………………..223
7.4 分布式文件系统 HDFS……………………225
7.4.1 HDFS 的设计目标……………………225
7.4.2 HDFS 的体系结构……………………226
7.5 NoSQL 数据库……………………………….227
7.5.1 键值数据库……………………………..228
7.5.2 列族数据库……………………………..229
7.5.3 文档数据库……………………………..229
7.5.4 图数据库 ………………………………..230
7.6 云数据库 ………………………………………231
7.6.1 云数据库的概念 ………………………231
7.6.2 云数据库的特性 ………………………232
7.6.3 云数据库与其他数据库的关系…..233
7.6.4 代表性的云数据库产品…………….234
7.7 分布式数据库 HBase ………………………234
7.7.1 Bigtable 概述 …………………………..234
7.7.2 HBase 简介…………………………….. 235
7.7.3 HBase 的数据模型 ………………….. 235
7.7.4 HBase 的系统架构 ………………….. 237
7.8 Spanner………………………………………… 238
7.9 OceanBase ……………………………………. 239
7.10 本章小结……………………………………. 240
7.11 习题…………………………………………… 241
第 8 章 数据处理与分析……………….. 242
8.1 数据处理与分析的概念 …………………. 242
8.2 基于统计学方法的数据分析…………… 244
8.2.1 常见的数据分析方法 ………………. 244
8.2.2 数据分析的主流工具 ………………. 246
8.3 机器学习和数据挖掘算法………………. 248
8.3.1 概述………………………………………. 248
8.3.2 分类………………………………………. 249
8.3.3 聚类………………………………………. 250
8.3.4 回归分析……………………………….. 251
8.3.5 关联规则……………………………….. 251
8.3.6 协同过滤……………………………….. 252
8.4 数据挖掘的方法体系…………………….. 253
8.4.1 可挖掘的知识 ………………………… 253
8.4.2 数据挖掘系统的体系结构………… 254
8.4.3 数据挖掘流程 ………………………… 255
8.5 大数据处理与分析技术 …………………. 256
8.5.1 技术分类……………………………….. 257
8.5.2 流计算…………………………………… 258
8.5.3 图计算…………………………………… 260
8.6 大数据处理与分析的代表性产品 ……. 262
8.6.1 分布式计算框架 MapReduce…….. 262
8.6.2 数据仓库 Hive………………………… 263
8.6.3 数据仓库 Impala……………………… 265
8.6.4 基于内存的分布式计算框架Spark …………………………………….. 266
8.6.5 机器学习框架
TensorFlowOnSpark ………………….280
8.6.6 流计算框架 Flink……………………..282
8.6.7 大数据编程框架 Beam………………285
8.6.8 查询分析系统 Dremel……………….286
8.7 本章小结……………………………………….288
8.8 习题……………………………………………..288
第 9 章 数据可视化…………………………290
9.1 可视化概述……………………………………290
9.1.1 数据可视化简介 ………………………290
9.1.2 可视化的发展历程 …………………..291
9.1.3 可视化的重要作用 …………………..291
9.2 可视化图表……………………………………293
9.3 可视化工具……………………………………294
9.3.1 入门级工具……………………………..294
9.3.2 信息图表工具………………………….294
9.3.3 地图工具…………………………………296
9.3.4 时间线工具 …………………………….296
9.3.5 高级分析工具………………………….297
9.4 本章小结………………………………………297
9.5 习题……………………………………………..298
第 10 章 大数据分析综合案例……..299
10.1 案例任务 …………………………………….299
10.2 系统设计 …………………………………….300
10.2.1 系统总体设计………………………..300
10.2.2 数据库设计 …………………………..300
10.2.3 系统网站设计………………………..301
10.2.4 算法设计 ………………………………302
10.3 技术选择 …………………………………….305
10.4 系统实现 …………………………………….306
10.5 本章小结 …………………………………….307
10.6 习题……………………………………………307
参考文献 ……………………………………………..308