《大数据导论(通识课版)》教材官网

《大数据导论——数据思维、数据能力和数据伦理(通识课版)》

作者:厦门大学计算机科学系  林子雨  博士/副教授

出版社:高等教育出版社

开设全校公共选修课的最佳教材

预计本教材将于2020年2月由高等教育出版社出版发行

ISBN:978-7-04-053577-8   定价:32元


教材简介 | 讲义PPT | 下载专区 | 教学大纲 | 授课视频 | 教材目录 | 样书申请


出版时间

预计本教材将于2020年3月由高等教育出版社出版发行。

教材简介

本书详细阐述了培养具有数据素养的综合型人才所需要的大数据相关知识储备。本书在确定知识布局时,秉持的一个基本原则是,紧紧围绕通识教育核心理念,努力培养学生的数据意识、数据思维、数据伦理和数据能力。全书共11章,内容包括大数据概述,大数据与云计算、物联网、人工智能,大数据技术,大数据应用,大数据安全,大数据思维,大数据伦理,数据共享,数据开放,大数据交易,大数据治理。为了避免陷入空洞的理论介绍,本书在很多章节都融入了丰富的案例,这些案例就发生在我们生活的大数据时代,很具有代表性和说服力,能够让学生直观感受相应理论的具体内涵。

作为通识类课程教材,本书服务于具有数据素养的综合型人才的培养,并非面向大数据专业人才的培养,因此,本书面向的读者对象是非计算机专业(尤其是文科)大学生。

样书申请

如果您是高校教师,需要申请样书,请扫描下面二维码:

下载专区

本教材相关配套资源包括讲义PPT、教学大纲、讨论课、微视频、拓展阅读等,都已经放在百度网盘下载。

百度网盘链接:https://pan.baidu.com/s/1d0Bn6sTyFKHHZfFJJYKGvA
提取码:tvn9

教材配套授课视频

由林子雨老师主讲的《大数据导论(通识课版)》全套授课视频,已经在网易云课堂发布,敬请关注!点击这里观看

教材配套讲义PPT

章节 讲义PPT(PPT格式) 讲义PPT(PDF格式)
第0章-课程介绍 下载 下载
第1章 大数据概述 下载 下载
第2章 大数据与云计算、物联网、人工智能 下载 下载
第3章 大数据技术 下载 下载
第4章 大数据应用 下载 下载
第5章 大数据安全 下载 下载
第6章 大数据思维 下载 下载
第7章 大数据伦理 下载 下载
第8章 数据共享 下载 下载
第9章 数据开放 下载 下载
第10章 大数据交易 下载 下载
第11章 大数据治理 下载 下载

附加章节:《第12章 区块链技术与应用》(阅读全文),这个章节不在教材中,供老师参考,在教学中,可以放在第2章之后讲解区块链。

教学大纲

大数据导论(通识课)教学大纲下载

讨论课

在大学阶段,学生自主学习能力的培养是一件很重要的事情。在众多的教学方法中,讨论课是调用学生学习积极性、参与性,培养学生主动思考、解决问题的较好办法。通过事前的准备,可以使学生加深对课堂中理论知识的认识与理解,了解理论与实践的差异及其产生的原因,达到“学有所获、教学相长”的目的。

笔者为本教材设计了4个讨论课题目,任课教师可以根据需要引入课堂。

讨论课题目 课件下载
讨论课1:人工智能对人类社会发展的影响 下载
讨论课2:大学生如何用大数据思维指导自己的实践 下载
讨论课3:数据共享和数据开放如何改变世界 下载
讨论课4:如何实现大数据与本专业的结合 下载

教材前言

大数据作为继云计算、物联网之后IT行业又一颠覆性的技术,备受人们关注。大数据无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业,都融入了大数据的印迹,大数据对人类的社会生产和生活必将产生重大而深远的影响。

对于一个国家而言,能否紧紧抓住大数据发展机遇,快速形成核心技术和应用参与新一轮的全球化竞争,将直接决定未来若干年世界范围内各国科技力量博弈的格局。大数据专业人才的培养是新一轮科技较量的基础,高等院校承担着大数据人才培养的重任。大数据人才的培养包括两个部分,一个是培养掌握复杂大数据技术知识的大数据专业人才,另一个是培养具有数据素养的综合型人才。数据素养是信息素养在大数据时代的拓展和延伸,也是在大数据时代的新环境下,对当代大学生提出的新要求。对大学生进行数据素养教育,可以有效提升大学生的数据意识、数据思维和数据能力,使其在大数据时代获得更好的生存和发展空间。

在大数据专业人才培养方面,随着全国高校数据科学与大数据技术专业建设的持续推进,在全国从事大数据专业教学的老师的共同努力下,目前已经诞生了一大批优秀的大数据专业系列教材,较好地满足了新专业对教材的紧迫需求。但是,在通识导论教材方面,目前还处于空白状态。笔者所在的厦门大学数据库实验室,是全国高校知名的大数据教学团队,每年有很多来自全国各地的教师来到厦门大学与我们开展交流,与此同时,我们也积极走出去,到全国各地学习其他高校的大数据课程和教材的建设经验。通过大量的相互交流,我们了解到,国内高校对于开设大数据通识导论课程存在很大的需求,但是,就是苦于缺乏相应的教材。为了填补国内高校的这个空白,也为了让更多高校能够用教材把大数据通识导论课程开设起来,笔者在大量调研学习的基础上,编著了本书。

作为通识类课程教材,本书服务于具有数据素养的综合型人才的培养,并非面向大数据专业人才的培养,因此,面向的读者对象是非计算机专业大学生。本书在确定知识布局时,秉持的一个基本原则是,紧紧围绕通识教育核心理念,努力培养学生的数据意识、数据思维、数据伦理和数据能力。为了避免陷入空洞的理论介绍,本书在很多章节都融入了丰富的案例,这些案例就发生在我们生活的大数据时代,很具有代表性和说服力,能够让学生直观感受相应理论的具体内涵。

本书共11章,详细阐述了培养具有数据素养的综合型人才所需要的大数据相关知识储备。第1章介绍了数据的概念、大数据时代到来的背景、大数据的发展历程、世界各国的大数据发展战略、大数据的概念与影响、大数据的应用以及大数据产业;第2章介绍了云计算、物联网、人工智能的概念和应用,并阐述了大数据与云计算、物联网、人工智能之间的紧密关系;第3章介绍大数据分析全流程所涉及的各种技术,包括数据采集与预处理、数据存储和管理、数据处理与分析、数据可视化、数据安全和隐私保护等;第4章介绍大数据在各大领域的典型应用,包括互联网、生物医学、物流、城市管理、金融、汽车、零售、餐饮、电信、能源、体育、娱乐、安全、政府和日常生活等领域;第5章讨论大数据安全问题并给出相关的典型案例;第6章介绍大数据时代新的思维方式,包括全样而非抽样、效率而非精确、相关而非因果、以数据为中心、“人人为我,我为人人”等;第7章介绍大数据伦理的概念,并给出与大数据伦理相关的典型案例;第8章介绍数据共享的意义、实现数据共享所面临的相关挑战以及推进数据共享应当采取的措施;第9章介绍政府开放数据的理论基础、政府数据开放的重要意义、国外政府开放数据的经验和我国政府开放数据的现状;第10章介绍大数据交易的发展现状、大数据交易平台、大数据交易在发展过程中出现的问题以及推进大数据交易发展的对策;第11章介绍大数据治理的概念、要素和治理模型。

本书面向高校非计算机专业的学生,可以作为通识类课程教材。本书由林子雨执笔。在撰写过程中,厦门大学计算机科学系硕士研究生魏亮、曾冠华、程璐、林哲、郑宛玉、陈杰祥等做了大量辅助性工作,在此,向这些同学的辛勤工作表示衷心的感谢。同时,感谢夏小云老师在书稿校对过程中的辛勤付出。

本书官方网站是http://dblab.xmu.edu.cn/post/bigdataintroduction/,免费提供了全部配套资源的在线浏览和下载,并接受错误反馈和发布勘误信息。

本书在撰写过程中,参考了大量网络资料、文献和书籍,对相关知识进行了系统梳理,有选择性地把一些重要知识纳入本书。由于笔者能力有限,本书难免存在不足之处,望广大读者不吝赐教。

林子雨

厦门大学计算机科学系数据库实验室

2019年3月

教材目录

大数据导论(通识课版)

林子雨  编著

第1章 大数据概述

1. 1 数据……………………………… 002

1. 1. 1 数据的概念……………………… 002

1. 1. 2 数据类型………………………… 002

1. 1. 3 数据组织形式…………………… 003

1. 1. 4 数据生命周期…………………… 003

1. 1. 5 数据的使用……………………… 003

1. 1. 6 数据的价值……………………… 005

1. 1. 7 数据爆炸………………………… 005

1. 2 大数据时代……………………… 006

1. 2. 1 第三次信息化浪潮……………… 006

1. 2. 2 信息科技为大数据时代提供技术支撑………………………… 006

1. 2. 3 数据产生方式的变革促成大数据时代的来临………………… 009

1. 3 大数据的发展历程……………… 011

1. 4 世界各国的大数据发展战略…… 013

1. 4. 1 美国……………………………… 013

1. 4. 2 英国……………………………… 014

1. 4. 3 法国……………………………… 014

1. 4. 4 韩国……………………………… 014

1. 4. 5 日本……………………………… 015

1. 4. 6 中国……………………………… 015

1. 5 大数据的概念…………………… 016

1. 5. 1 数据量大………………………… 016

1. 5. 2 数据类型繁多…………………… 017

1. 5. 3 处理速度快……………………… 018

1. 5. 4 价值密度低……………………… 018

1. 6 大数据的影响…………………… 019

1. 6. 1 大数据对科学研究的影响………… 019

1. 6. 2 大数据对社会发展的影响………… 020

1. 6. 3 大数据对就业市场的影响………… 021

1. 6. 4 大数据对人才培养的影响………… 022

1. 7 大数据的应用…………………… 023

1. 8 大数据产业……………………… 025

1. 9 本章小结………………………… 026

习题……………………………………… 026

第2章 大数据与云计算、物联网、人工智能

2. 1 云计算…………………………… 030

2. 1. 1 云计算的概念…………………… 030

2. 1. 2 云计算的服务模式和类型………… 033

2. 1. 3 云计算数据中心………………… 033

2. 1. 4 云计算的应用…………………… 034

2. 1. 5 云计算产业……………………… 035

2. 2 物联网…………………………… 036

2. 2. 1 物联网的概念…………………… 036

2. 2. 2 物联网的关键技术……………… 037

2. 2. 3 物联网的应用…………………… 039

2. 2. 4 物联网产业……………………… 040

2. 3 大数据与云计算、物联网的关系……………………… 040

2. 4 人工智能………………………… 042

2. 4. 1 人工智能的概念………………… 042

2. 4. 2 人工智能的关键技术……………… 042

2. 4. 3 人工智能的应用………………… 047

2. 4. 4 人工智能产业…………………… 051

2. 5 大数据与人工智能的关系……… 054

2. 6 本章小结………………………… 055

习题……………………………………… 055

第3章 大数据技术

3. 1 概述……………………………… 058

3. 2 数据采集与预处理……………… 058

3. 2. 1 数据采集的概念………………… 059

3. 2. 2 数据采集的3 大要点……………… 059

3. 2. 3 数据采集的数据源……………… 060

3. 2. 4 数据清洗………………………… 061

3. 3 数据存储和管理………………… 063

3. 3. 1 传统的数据存储和管理技术……… 063

3. 3. 2 大数据时代的数据存储和管理技术………………… 065

3. 4 数据处理与分析………………… 067

3. 4. 1 数据挖掘和机器学习算法………… 067

3. 4. 2 大数据处理与分析技术…………… 068

3. 5 数据可视化……………………… 070

3. 5. 1 数据可视化的概念……………… 070

3. 5. 2 数据可视化的重要作用…………… 071

3. 5. 3 数据可视化案例………………… 073

3. 6 数据安全和隐私保护…………… 075

3. 6. 1 数据安全技术…………………… 075

3. 6. 2 隐私保护技术…………………… 076

3. 7 本章小结………………………… 076

习题……………………………………… 076

第4章 大数据应用

4. 1 大数据在互联网领域的应用…… 080

4. 1. 1 推荐系统的概念………………… 080

4. 1. 2 长尾理论………………………… 081

4. 1. 3 推荐方法………………………… 081

4. 1. 4 推荐系统模型…………………… 082

4. 1. 5 推荐系统的应用………………… 083

4. 2 大数据在生物医学领域的应用… 084

4. 2. 1 流行病预测……………………… 084

4. 2. 2 智慧医疗………………………… 087

4. 2. 3 生物信息学……………………… 088

4. 2. 4 案例: 基于大数据的综合健康服务平台……………… 089

4. 3 大数据在物流领域的应用……… 093

4. 3. 1 智能物流的概念………………… 093

4. 3. 2 智能物流的作用………………… 094

4. 3. 3 智能物流的应用………………… 094

4. 3. 4 大数据是智能物流的关键………… 095

4. 3. 5 中国智能物流骨干网———菜鸟…… 095

4. 4 大数据在城市管理领域的应用… 098

4. 4. 1 智能交通………………………… 098

4. 4. 2 环保监测………………………… 099

4. 4. 3 城市规划………………………… 100

4. 4. 4 安防领域………………………… 101

4. 5 大数据在金融领域的应用……… 102

4. 5. 1 高频交易………………………… 102

4. 5. 2 市场情绪分析…………………… 102

4. 5. 3 信贷风险分析…………………… 103

4. 5. 4 大数据征信……………………… 104

4. 6 大数据在汽车领域的应用……… 106

4. 7 大数据在零售领域的应用……… 107

4. 7. 1 发现关联购买行为……………… 107

4. 7. 2 客户群体细分…………………… 108

4. 7. 3 供应链管理……………………… 109

4. 8 大数据在餐饮领域的应用……… 109

4. 8. 1 餐饮行业拥抱大数据……………… 109

4. 8. 2 餐饮O2O ………………………… 109

4. 9 大数据在电信领域的应用……… 111

4. 10 大数据在能源领域的应用……… 112

4. 11 大数据在体育和娱乐领域的应用……………………… 113

4. 11. 1 训练球队……………………… 113

4. 11. 2 投拍影视作品…………………… 114

4. 11. 3 预测比赛结果…………………… 115

4. 12 大数据在安全领域的应用……… 116

4. 12. 1 大数据与国家安全……………… 116

4. 12. 2 应用大数据技术防御网络攻击…… 117

4. 12. 3 警察应用大数据工具预防犯罪…… 117

4. 13 大数据在政府领域的应用……… 118

4. 14 大数据在日常生活中的应用…… 119

4. 15 本章小结………………………… 120

习题……………………………………… 121

第5 章 大数据安全

5. 1 传统数据安全…………………… 124

5. 2 大数据安全与传统数据安全的不同……………………… 124

5. 3 大数据安全问题………………… 125

5. 3. 1 隐私和个人信息安全问题………… 125

5. 3. 2 国家安全问题…………………… 127

5. 4 典型案例………………………… 128

5. 4. 1 棱镜门事件……………………… 128

5. 4. 2 维基解密………………………… 129

5. 4. 3 Facebook 数据滥用事件…………… 129

5. 4. 4 手机应用软件过度采集个人信息… 130

5. 4. 5 12306 囤票案件…………………… 131

5. 4. 6 免费WiFi 窃取用户信息………… 132

5. 4. 7 收集个人隐私信息的“探针盒子” ………………… 132

5. 5 大数据保护的基本原则………… 132

5. 5. 1 数据主权原则…………………… 133

5. 5. 2 数据保护原则…………………… 133

5. 5. 3 数据自由流通原则……………… 133

5. 5. 4 数据安全原则…………………… 133

5. 6 大数据时代数据安全与隐私保护的对策…………………… 134

5. 7 世界各国保护数据安全的实践… 134

5. 7. 1 欧盟……………………………… 135

5. 7. 2 美国……………………………… 136

5. 7. 3 英国……………………………… 137

5. 7. 4 中国……………………………… 137

5. 7. 5 其他国家………………………… 138

5. 8 本章小结………………………… 139

习题……………………………………… 139

第6章 大数据思维

6. 1 传统的思维方式………………… 142

6. 2 大数据时代需要新的思维方式… 142

6. 3 大数据思维方式………………… 143

6. 3. 1 全样而非抽样…………………… 144

6. 3. 2 效率而非精确…………………… 144

6. 3. 3 相关而非因果…………………… 145

6. 3. 4 以数据为中心…………………… 145

6. 3. 5 我为人人, 人人为我……………… 146

6. 4 运用大数据思维的具体实例…… 147

6. 4. 1 商品比价网站…………………… 147

6. 4. 2 啤酒与尿布……………………… 148

6. 4. 3 零售商Target 的基于大数据的商品营销………… 148

6. 4. 4 吸烟有害身体健康的法律诉讼…… 148

6. 4. 5 基于大数据的药品研发…………… 150

6. 4. 6 基于大数据的谷歌广告…………… 151

6. 4. 7 搜索引擎“点击模型” …………… 151

6. 4. 8 迪士尼MagicBand 手环…………… 152

6. 4. 9 谷歌流感趋势预测……………… 153

6. 4. 10 大数据的简单算法比小数据的复杂算法更有效………… 153

6. 4. 11 谷歌翻译……………………… 153

6. 5 本章小结………………………… 154

习题……………………………………… 154

第7章 大数据伦理

7. 1 大数据伦理概念………………… 158

7. 2 大数据伦理的典型案例………… 158

7. 2. 1 徐玉玉事件……………………… 159

7. 2. 2 大麦网撞库事件………………… 159

7. 2. 3 大数据“杀熟” ………………… 159

7. 2. 4 隐性偏差问题…………………… 160

7. 2. 5 魏则西事件……………………… 160

7. 2. 6 “信息茧房” 问题………………… 161

7. 3 大数据的伦理问题……………… 162

7. 3. 1 隐私泄露问题…………………… 162

7. 3. 2 数据安全问题…………………… 164

7. 3. 3 数字鸿沟问题…………………… 164

7. 3. 4 数据独裁问题…………………… 165

7. 3. 5 数据垄断问题…………………… 165

7. 3. 6 数据的真实可靠问题……………… 166

7. 3. 7 人的主体地位问题……………… 166

7. 4 大数据伦理问题产生的原因…… 167

7. 4. 1 人类社会价值观的转变…………… 167

7. 4. 2 数据伦理责任主体不明确………… 167

7. 4. 3 相关主体的利益牵涉……………… 167

7. 4. 4 道德规范的缺失………………… 168

7. 4. 5 法律体系不健全………………… 168

7. 4. 6 管理机制不完善………………… 168

7. 4. 7 技术乌托邦的消极影响…………… 169

7. 4. 8 大数据技术本身的缺陷…………… 169

7. 5 大数据伦理问题的治理………… 169

7. 5. 1 提高保护个人隐私数据的意识…… 170

7. 5. 2 加强大数据伦理规约的构建……… 170

7. 5. 3 努力实现以技术治理大数据……… 170

7. 5. 4 完善大数据立法………………… 171

7. 5. 5 完善大数据伦理管理机制………… 171

7. 5. 6 引导企业坚持责任与利益并重…… 171

7. 5. 7 努力弘扬共享精神化解数字鸿沟… 172

7. 5. 8 倡导跨行业跨部门合作…………… 172

7. 6 本章小结………………………… 173

习题……………………………………… 173

第8章 数据共享

8. 1 数据孤岛问题…………………… 176

8. 1. 1 政府的数据孤岛问题……………… 176

8. 1. 2 企业的数据孤岛问题……………… 176

8. 2 数据孤岛问题产生的原因……… 177

8. 2. 1 政府数据孤岛的产生原因………… 177

8. 2. 2 企业数据孤岛的产生原因………… 177

8. 3 消除数据孤岛的重要意义……… 178

8. 3. 1 对于政府的意义………………… 178

8. 3. 2 对于企业的意义………………… 178

8. 4 实现数据共享所面临的挑战…… 179

8. 4. 1 政府层面的挑战………………… 179

8. 4. 2 企业层面的挑战………………… 179

8. 5 推进数据共享开放的举措……… 180

8. 5. 1 政府层面的举措………………… 180

8. 5. 2 企业层面的举措………………… 181

8. 6 数据共享案例…………………… 181

8. 6. 1 案例1: 菜鸟物流………………… 181

8. 6. 2 案例2: 政府一站式平台———i厦门…………………… 182

8. 6. 3 案例3: 浙江打通政府数据, 让群众最多跑一次……… 184

8. 7 本章小结………………………… 186

习题……………………………………… 186

第9章 数据开放

9. 1 政府开放数据的理论基础……… 188

9. 1. 1 数据资产理论…………………… 188

9. 1. 2 数据权理论……………………… 188

9. 1. 3 开放政府理论…………………… 189

9. 2 政府信息公开与政府数据开放的联系与区别……………… 190

9. 3 政府数据开放的重要意义……… 191

9. 3. 1 政府开放数据有利于促进开放透明政府的形成…………… 191

9. 3. 2 政府开放数据有利于创新创业和经济增长………………… 192

9. 3. 3 政府开放数据有利于社会治理创新…………………… 192

9. 4 国外政府开放数据的经验……… 193

9. 4. 1 概述……………………………… 193

9. 4. 2 G8 数据开放原则………………… 194

9. 4. 3 美国开放数据国家行动计划……… 195

9. 4. 4 英国开放数据国家行动计划……… 195

9. 4. 5 德国政府开放数据行动…………… 197

9. 4. 6 日本政府开放数据行动…………… 197

9. 5 国内政府开放数据……………… 198

9. 5. 1 概述……………………………… 199

9. 5. 2 我国政府数据开放制度体系……… 199

9. 5. 3 当前数据开放存在的主要问题…… 200

9. 5. 4 各地政府数据开放实践…………… 204

9. 6 政府数据开放的几点启示……… 208

9. 7 本章小结………………………… 209

习题……………………………………… 210

第10章 大数据交易

10. 1 概述……………………………… 212

10. 2 大数据交易发展现状…………… 213

10. 3 大数据交易平台………………… 214

10. 3. 1 交易平台的类型………………… 214

10. 3. 2 交易平台的数据来源…………… 215

10. 3. 3 交易平台的产品类型…………… 215

10. 3. 4 交易平台涉及的主要领域……… 216

10. 3. 5 平台的交易规则………………… 216

10. 3. 6 交易平台的运营模式…………… 216

10. 3. 7 代表性的大数据交易平台……… 217

10. 4 大数据交易在发展过程中出现的问题……………………… 218

10. 4. 1 互联网数据马太效应显现……… 218

10. 4. 2 大数据产权界定不清晰………… 219

10. 4. 3 大数据交易规则和标准缺乏……… 219

10. 4. 4 数据估值定价机制有待完善……… 219

10. 4. 5 大数据需求不明确, 抑制交易市场发展……………… 220

10. 4. 6 大数据交易组织机构定位不清…… 220

10. 4. 7 用户隐私保护隐患重重………… 220

10. 4. 8 大数据交易专业人才缺乏……… 221

10. 5 推进大数据交易发展的对策…… 221

10. 5. 1 加快制定隐私保护相关法律法规……………………… 221

10. 5. 2 加快推进政府数据开放共享……… 221

10. 5. 3 加快完善市场交易机制………… 222

10. 5. 4 加快建立大数据交易监管职能部门…………………… 222

10. 5. 5 加快培育大数据交易人才……… 222

10. 6 本章小结………………………… 223

习题……………………………………… 223

第11章 大数据治理

11. 1 概述……………………………… 226

11. 1. 1 数据治理的必要性……………… 226

11. 1. 2 数据治理的基本概念…………… 226

11. 1. 3 数据治理与数据管理的关系……… 227

11. 1. 4 大数据治理的基本概念………… 228

11. 1. 5 大数据治理与数据治理的关系…… 230

11. 1. 6 大数据治理的重要意义和作用…… 231

11. 2 大数据治理的要素……………… 232

11. 3 大数据治理模型………………… 233

11. 3. 1 ISACA 数据治理模型…………… 233

11. 3. 2 HESA 数据治理模型…………… 234

11. 3. 3 数据治理螺旋模型……………… 234

11. 4 大数据治理保障机制…………… 235

11. 4. 1 大数据治理战略目标…………… 235

11. 4. 2 大数据治理组织………………… 236

11. 4. 3 制度章程……………………… 237

11. 4. 4 流程管理……………………… 238

11. 4. 5 技术应用……………………… 238

11. 5 本章小结………………………… 239

习题……………………………………… 239

参考文献…………………………………………………………… 241