林子雨编著《大数据与人工智能导论（通识课版）》
教材目录
第 1 章 大数据概述
1.1 数据 ………………………………… 001
1.1.1 数据的概念………………………… 002
1.1.2 数据类型…………………………… 002
1.1.3 数据组织形式……………………… 003
1.1.4 数据生命周期……………………… 003
1.1.5 数据的使用………………………… 003
1.1.6 数据的价值………………………… 005
1.1.7 数据爆炸…………………………… 005
1.1.8 数商………………………………… 006
1.1.9 从数据到数据要素………………… 006
1.1.10 数据生产力 ……………………… 008
1.2 大数据时代 ………………………… 008
1.2.1 三次信息化浪潮…………………… 008
1.2.2 信息科技为大数据时代提供技术支撑………………………………… 009
1.2.3 数据产生方式的变革促成大数据时代的来临………………………… 010
1.3 大数据的发展历程 ………………… 011
1.4 大数据发展战略 …………………… 013
1.4.1 美国………………………………… 013
1.4.2 英国………………………………… 014
1.4.3 欧盟………………………………… 015
1.4.4 韩国………………………………… 015
1.4.5 日本………………………………… 015
1.4.6 中国………………………………… 016
1.5 大数据的概念 ……………………… 018
1.5.1 数据量大…………………………… 018
1.5.2 数据类型繁多……………………… 019
1.5.3 处理速度快………………………… 020
1.5.4 价值密度低………………………… 020
1.6 大数据的影响 ……………………… 020
1.6.1 大数据对科学研究的影响………… 021
1.6.2 大数据对社会发展的影响………… 022
1.6.3 大数据对就业市场的影响………… 023
1.6.4 大数据对人才培养的影响………… 023
1.7 大数据的应用 ……………………… 024
1.7.1 大数据在各个领域的应用………… 025
1.7.2 大数据应用的3个层次 …………… 026
1.8 大数据产业 ………………………… 027
1.9 大数据与数字经济 ………………… 028
1.9.1 数字经济的概念及其重要意义…… 028
1.9.2 大数据与数字经济的紧密关系…… 030
1.10 大数据与5G技术 ………………… 032
1.11 大数据与新质生产力……………… 032
1.11.1 什么是新质生产力 ……………… 032
1.11.2 大数据与新质生产力的关系 …… 033
1.12 本章小结…………………………… 033
1.13 习题………………………………… 033
第 2 章大数据技术
2.1 概述 ………………………………… 036
2.2 数据采集与预处理 ………………… 036
2.2.1 数据采集的概念…………………… 037
2.2.2 数据采集的三大要点……………… 037
2.2.3 数据采集的数据源………………… 038
2.2.4 数据采集方法……………………… 039
2.2.5 数据清洗…………………………… 040
2.2.6 数据集成…………………………… 043
2.2.7 数据转换…………………………… 043
2.2.8 数据脱敏…………………………… 044
2.3 数据存储和管理 …………………… 045
2.3.1 传统的数据存储和管理技术……… 045
2.3.2 大数据时代的数据存储和管理技术………………………………… 047
2.4 数据处理与分析 …………………… 053
2.4.1 基于统计学方法的数据分析……… 053
2.4.2 数据挖掘和机器学习算法………… 055
2.4.3 大数据处理与分析技术…………… 055
2.5 数据可视化 ………………………… 057
2.5.1 什么是数据可视化………………… 057
2.5.2 可视化的发展历程………………… 057
2.5.3 数据可视化的重要作用…………… 058
2.5.4 可视化图表………………………… 060
2.6 数据安全和隐私保护 ……………… 061
2.6.1 数据安全技术……………………… 061
2.6.2 隐私保护技术……………………… 061
2.7 本章小结 …………………………… 062
2.8 习题 ………………………………… 062
第 3 章 大数据应用
3.1 大数据在互联网领域的应用 ……… 064
3.2 大数据在生物医学领域的应用 …… 064
3.2.1 流行病预测………………………… 065
3.2.2 智慧医疗…………………………… 066
3.2.3 生物信息学………………………… 066
3.3 大数据在物流领域的应用 ………… 067
3.3.1 智能物流的概念…………………… 067
3.3.2 大数据是智能物流的关键………… 067
3.4 大数据在城市管理领域的应用 …… 068
3.4.1 智能交通…………………………… 068
3.4.2 环保监测…………………………… 068
3.4.3 城市规划…………………………… 069
3.4.4 安防领域…………………………… 070
3.5 大数据在金融领域的应用 ………… 070
3.5.1 高频交易…………………………… 070
3.5.2 市场情绪分析……………………… 070
3.5.3 信贷风险分析……………………… 071
3.5.4 大数据征信………………………… 071
3.6 大数据在汽车领域的应用 ………… 072
3.7 大数据在电信领域的应用 ………… 073
3.8 大数据在能源领域的应用 ………… 073
3.9 本章小结 …………………………… 074
3.10 习题………………………………… 074
第 4 章 大数据基础知识
4.1 大数据思维 ………………………… 076
4.1.1 传统的思维方式…………………… 076
4.1.2 大数据时代需要新的思维方式…… 076
4.1.3 大数据思维方式…………………… 077
4.2 数据共享 …………………………… 081
4.2.1 数据孤岛问题……………………… 081
4.2.2 数据孤岛问题的产生原因………… 082
4.2.3 消除数据孤岛的重要意义………… 082
4.2.4 实现数据共享所面临的挑战……… 083
4.2.5 推进数据共享的举措……………… 084
4.2.6 数据共享的原则…………………… 085
4.3 数据开放 …………………………… 086
4.3.1 政府开放数据的理论基础………… 086
4.3.2 政府信息公开与政府数据开放的联系与区别………………………… 089
4.3.3 政府数据开放的重要意义………… 090
4.3.4 我国政府开放数据………………… 091
4.3.5 政府数据开放的几点启示………… 097
4.4 大数据交易 ………………………… 097
4.4.1 概述………………………………… 098
4.4.2 大数据交易发展现状……………… 098
4.4.3 大数据交易平台…………………… 100
4.4.4 大数据交易在发展过程中出现的问题………………………………… 102
4.4.5 推进大数据交易发展的对策……… 103
4.4.6 数据产权制度……………………… 104
4.5 大数据安全 ………………………… 105
4.5.1 传统数据安全……………………… 106
4.5.2 大数据安全与传统数据安全的不同………………………………… 106
4.5.3 大数据时代数据安全面临的挑战… 107
4.5.4 大数据安全问题…………………… 107
4.5.5 大数据安全威胁…………………… 110
4.5.6 典型案例…………………………… 112
4.5.7 大数据保护的基本原则…………… 114
4.5.8 大数据时代数据安全与隐私保护的对策………………………………… 115
4.6 大数据治理 ………………………… 115
4.6.1 数据治理概述……………………… 116
4.6.2 数据治理的工作范围……………… 123
4.6.3 大数据治理概念…………………… 126
4.7 本章小结 …………………………… 127
4.8 习题 ………………………………… 128
第 5 章 人工智能
5.1 什么是人工智能 …………………… 130
5.1.1 什么是智能………………………… 130
5.1.2 人工智能的定义…………………… 131
5.1.3 强人工智能与弱人工智能………… 131
5.2 人工智能的发展历程 ……………… 132
5.2.1 图灵测试…………………………… 132
5.2.2 人工智能的诞生…………………… 132
5.2.3 人工智能的发展阶段……………… 133
5.3 人工智能的要素 …………………… 133
5.4 人工智能关键技术 ………………… 134
5.4.1 机器学习…………………………… 134
5.4.2 知识图谱…………………………… 135
5.4.3 自然语言处理……………………… 136
5.4.4 人机交互…………………………… 136
5.4.5 计算机视觉………………………… 137
5.4.6 生物特征识别……………………… 138
5.4.7 虚拟现实/增强现实 ……………… 138
5.5 人工智能应用 ……………………… 138
5.5.1 智能制造…………………………… 139
5.5.2 智能家居…………………………… 139
5.5.3 智能金融…………………………… 140
5.5.4 智能交通…………………………… 140
5.5.5 智能安防…………………………… 141
5.5.6 智能医疗…………………………… 141
5.5.7 智能物流…………………………… 141
5.5.8 智能零售…………………………… 142
5.6 人工智能产业 ……………………… 142
5.6.1 智能基础设施建设………………… 142
5.6.2 智能信息及数据…………………… 143
5.6.3 智能技术服务……………………… 143
5.6.4 智能产品…………………………… 143
5.7 人工智能与大数据的关系 ………… 145
5.7.1 人工智能与大数据的联系………… 145
5.7.2 人工智能与大数据的区别………… 145
5.8 本章小结 …………………………… 145
5.9 习题 ………………………………… 146
第 6 章 大模型：人工智能的前沿
6.1 大模型概述 ………………………… 148
6.1.1 大模型的概念……………………… 148
6.1.2 大模型与小模型的区别…………… 149
6.1.3 大模型的发展历程………………… 149
6.1.4 人工智能与大模型的关系………… 150
6.1.5 大模型在人工智能领域的重要性… 151
6.2 大模型产品 ………………………… 151
6.2.1 国外的大模型产品………………… 152
6.2.2 国内的大模型产品………………… 153
6.3 大模型的基本原理 ………………… 154
6.4 大模型的特点 ……………………… 155
6.5 大模型的分类 ……………………… 156
6.6 大模型的成本 ……………………… 157
6.7 大模型的应用领域 ………………… 157
6.8 基于大模型的智能体 ……………… 158
6.9 大模型对人们工作和生活的影响 … 158
6.9.1 大模型对人们工作的影响………… 159
6.9.2 大模型对人们生活的影响………… 159
6.10 大模型面临的挑战与未来发展…… 159
6.10.1 大模型面临的挑战 ……………… 159
6.10.2 大模型的未来发展 ……………… 160
6.11 本章小结…………………………… 161
6.12 习题………………………………… 161
第 7 章AIGC应用与实践
7.1 AIGC概述 ………………………… 163
7.1.1 什么是AIGC ……………………… 163
7.1.2 AIGC与大模型的关系 …………… 163
7.1.3 AIGC的发展历程 ………………… 164
7.1.4 常见的AIGC应用场景 …………… 164
7.1.5 AIGC技术对行业发展的影响 …… 164
7.1.6 AIGC技术对职业发展的影响 …… 165
7.1.7 常见的AIGC大模型工具 ………… 165
7.1.8 AIGC大模型的提示词 …………… 166
7.2 文本类AIGC应用实践 …………… 166
7.2.1 文本类AIGC应用场景 …………… 166
7.2.2 文本类AIGC案例实践 …………… 167
7.3 图片类AIGC应用实践 …………… 171
7.3.1 图片类AIGC应用场景 …………… 171
7.3.2 图片类AIGC案例实践 …………… 172
7.4 语音类AIGC应用实践 …………… 173
7.4.1 语音类AIGC应用场景 …………… 173
7.4.2 语音类AIGC案例实践 …………… 173
7.5 视频类AIGC应用实践 …………… 176
7.5.1 视频类AIGC应用场景 …………… 176
7.5.2 代表性视频类AIGC大模型 ……… 177
7.6 AIGC技术在辅助编程中的应用 … 177
7.7 本章小结 …………………………… 178
7.8 习题 ………………………………… 178
第 8 章 新兴数字技术
8.1 云计算 ……………………………… 181
8.1.1 云计算的概念……………………… 181
8.1.2 云计算的服务模式和类型………… 183
8.1.3 云计算数据中心…………………… 184
8.1.4 云计算的应用……………………… 185
8.1.5 云计算产业………………………… 185
8.2 物联网 ……………………………… 186
8.2.1 物联网的概念……………………… 186
8.2.2 物联网的关键技术………………… 187
8.2.3 物联网的应用……………………… 188
8.2.4 物联网产业………………………… 189
8.3 大数据与云计算、物联网的关系 … 190
8.4 区块链 ……………………………… 190
8.4.1 比特币……………………………… 191
8.4.2 区块链的原理……………………… 191
8.4.3 区块链的定义……………………… 196
8.4.4 区块链的分类……………………… 196
8.4.5 区块链的应用……………………… 197
8.4.6 区块链的发展阶段………………… 198
8.4.7 区块链与大数据的关系…………… 199
8.4.8 区块链技术的现状与未来展望…… 200
8.5 元宇宙 ……………………………… 201
8.5.1 元宇宙概述………………………… 201
8.5.2 元宇宙的基本特征………………… 204
8.5.3 元宇宙的核心技术………………… 205
8.5.4 元宇宙的典型应用场景…………… 206
8.5.5 元宇宙面临的风险与挑战………… 209
8.5.6 虚拟现实…………………………… 211
8.5.7 虚拟数字人………………………… 212
8.5.8 数字孪生…………………………… 216
8.6 本章小结 …………………………… 219
8.7 习题 ………………………………… 219
第 9 章 新兴数字技术的伦理问题
9.1 大数据伦理 ………………………… 222
9.1.1 大数据伦理典型案例……………… 222
9.1.2 大数据伦理问题…………………… 226
9.1.3 大数据伦理问题产生的原因……… 230
9.1.4 大数据伦理问题的治理…………… 232
9.2 人工智能伦理 ……………………… 234
9.2.1 人工智能伦理概念………………… 235
9.2.2 人工智能伦理问题………………… 235
9.2.3 人工智能伦理典型案例…………… 238
9.2.4 人工智能伦理的基本原则………… 241
9.2.5 解决人工智能伦理问题的策略…… 241
9.3 区块链伦理问题 …………………… 243
9.3.1 隐私保护与数据安全……………… 243
9.3.2 权力集中与中心化………………… 244
9.3.3 价值判断与道德评判……………… 244
9.3.4 责任界定与追责机制……………… 244
9.3.5 资源消耗与环境影响……………… 245
9.4 元宇宙伦理问题 …………………… 245
9.4.1 造成人的异化……………………… 245
9.4.2 泄露人的隐私……………………… 246
9.4.3 冲击社会伦理……………………… 246
9.4.4 去中心化风险……………………… 247
9.4.5 跨文化冲突与价值观碰撞………… 247
9.5 本章小结 …………………………… 247
9.6 习题 ………………………………… 248
参考文献…………………………………… 249