大数据与人工智能的关系

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

人工智能和大数据都是当前的热门技术,人工智能的发展要早于大数据,人工智能在20世纪50年代就已经开始发展,而大数据的概念直到2010年附近才形成。从百度指数的数据可以看出,人工智能受到国人关注要远早于大数据,且受到长期、广泛的关注,在近两年再次被推向顶峰。人工智能的影响力要大于大数据。大数据关注度从2013年开始得到较多关注,2017年4月达到顶峰。
继续阅读

大数据与云计算、物联网的关系

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

云计算、大数据和物联网代表了IT领域最新的技术发展趋势,三者既有区别又有联系。云计算最初主要包含了两类含义:一类是以谷歌的GFS和MapReduce为代表的大规模分布式并行计算技术;另一类是以亚马逊的虚拟机和对象存储为代表的“按需租用”的商业模式。但是,随着大数据概念的提出,云计算中的分布式计算技术开始更多地被列入大数据技术,而人们提到云计算时,更多指的是底层基础IT资源的整合优化以及以服务的方式提供IT资源的商业模式(如IaaS、PaaS、SaaS)。从云计算和大数据概念的诞生到现在,二者之间的关系非常微妙,既密不可分,又千差万别。因此,我们不能把云计算和大数据割裂开来作为截然不同的两类技术来看待。此外,物联网也是和云计算、大数据相伴相生的技术。下面总结一下三者的联系与区别。
继续阅读

高校大数据专业

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

在大数据蓬勃发展的大背景下,市场上的大数据人才缺口不断扩大。高校作为人才培养基地,顺应市场需求,培养更多的、高质量的、适应经济和社会发展的数据科学复合型人才是义不容辞的责任,高校需要及时培养出理论型、实践型、应用型的大数据人才,为数据科学研究和大数据应用贡献力量。为满足社会对大数据人才的需求,斯坦福大学、加州大学伯克利分校、密歇根大学等世界著名大学纷纷建立数据科学研究中心并设置大数据专业。在我国,大数据专业也已经成为一个炙手可热的“新工科”专业。目前,国内高校开设的大数据专业主要包括本科院校设立的“数据科学与大数据技术专业”和高职院校设立的“大数据技术与应用”专业。截至2020年,全国已经有1000余所高校设立了大数据专业。
继续阅读

大数据产业

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。大数据产业包括IT基础设施层、数据源层、数据管理层、数据分析层、数据平台层和数据应用层,具体如表1-6所示。
继续阅读

大数据的应用

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

“数据,正在改变甚至颠覆我们所处的整个时代”,《大数据时代》一书作者维克托•舍恩伯格教授发出如此感慨。发展到今天,大数据已经无处不在,包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹,表1-5是大数据在各个领域的应用情况。

继续阅读

大数据对人才培养的影响

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据的兴起,将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。一方面,数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才,在中国高校现有的学科和专业设置中,上述专业知识分布在数学、统计和计算机等多个学科中,任何一个学科都只能培养某个方向的专业人才,无法培养全面掌握数据科学相关知识的复合型人才。另一方面,数据科学家需要大数据应用实战环境,在真正的大数据环境中不断学习、实践并融会贯通,将自身技术背景与所在行业业务需求进行深度融合,从数据中发现有价值的信息,但是,目前大多高校还不具备这种培养环境,不仅缺乏大规模基础数据,也缺乏对领域业务需求的理解。鉴于上述两个原因,目前国内的数据科学家人才并不是由高校培养的,而主要是在企业实际应用环境中通过边工作边学习的方式不断成长起来的,其中,互联网领域集中了大多数的数据科学家人才。
继续阅读

大数据对就业市场的影响

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据的兴起使得数据科学家成为热门职业。2010年的时候,在高科技劳动力市场上还很难见到数据科学家的头衔,但此后,数据科学家逐渐发展成为市场上最热门的职位之一,具有广阔发展前景,并代表着未来的发展方向。
继续阅读

大数据对社会发展的影响

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据将会对社会发展产生深远的影响,具体表现在以下几个方面:大数据决策成为一种新的决策方式;大数据成为提升国家治理能力的新途径;大数据应用促进信息技术与各行业的深度融合;大数据开发推动新技术和新应用的不断涌现。

继续阅读

大数据对科学研究的影响

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

大数据最根本的价值在于为人类提供了认识复杂系统的新思维和新手段。图灵奖获得者、著名数据库专家吉姆•格雷(Jim Gray)博士观察并总结认为,人类自古以来在科学研究上先后历经了实验、理论、计算和数据四种范式,具体如下。
继续阅读

大数据的概念

本文摘自林子雨编著《大数据导论》(访问教材官网

作者:厦门大学计算机科学系 林子雨 博士/副教授 全国高校知名大数据教师

E-mail: ziyulin@xmu.edu.cn

随着大数据时代的到来,“大数据”已经成为互联网信息技术行业的流行词汇。关于“什么是大数据”这个问题,大家比较认可关于大数据的“4V”说法。大数据的4个“V”,或者说是大数据的四个特点,包含四个层面:数据量大(Volume)、数据类型繁多(Variety)、处理速度快(Velocity)和价值密度低(Value)。
继续阅读