本服务站是“高校大数据课程公共服务平台”的11大工程中的“11号子工程”
大数据实验平台：联合企业为高校提供大数据教学和科研实验实训机房解决方案
建设者：厦门大学计算机科学系 林子雨 博士/副教授
(E-mail: ziyulin@xmu.edu.cn, 个人主页：https://dblab.xmu.edu.cn/linziyu)
（版权声明：本平台所有资源有版权，请勿用于商业用途）
扫一扫手机访问本主页
实验平台简介 | 实验平台功能 | 平台建设参与方角色 | 建设单位 | 合作伙伴 | 诚邀加盟
大数据课程综合实验案例：网站用户购物行为分析
Spark课程综合实验案例：淘宝双11数据分析与预测
Spark课程实验案例：Spark+Kafka构建实时分析Dashboard
厦门租房信息分析展示（pycharm+python爬虫+pyspark+pyecharts）
基于 TMDB 数据集的电影数据分析
高校大数据实训课程样板工程
上机实践是高校大数据教学必不可少的重要环节，可以帮助学生更好消化吸收课程内容、提高学生动手能力、激发学生学习兴趣 。作为“高校大数据课程公共服务平台”的第11号子工程，大数据实验平台旨在精心打造针对高校教学和科研工作量身定制的大数据实验平台，满足课程上机实验、课程设计、实习实训、科研训练等多方面需求。为此，厦门大学数据库实验室秉承“强强联合、整合资源”理念，积极联合国内领先的大数据基础实施供应商（国富瑞（福建）信息技术产业园有限公司）、大数据教学科研平台供应商（上海睿亚训软件技术服务有限公司）、大数据产品开发企业（科技谷（厦门）信息技术有限公司）、大数据交易与服务供应商（数据堂），共同构建大数据实验平台生态系统，努力为全国高校提供优质的大数据实验平台解决方案。
大数据实验平台公益计划
大数据实验平台公益计划，旨在为高校教师和学生提供“免费”的在线大数据上机实验环境，免去在本地计算机上安装复杂的大数据环境的苦恼，可以使用在线平台免费开展大数据实验。
【免费在线大数据实验平台入口】从该入口进入后，拉到网页的最底部，点击“免费申请”按钮，就可以免费获得与林子雨编著《大数据技术原理与应用（第3版）》教材配套的在线大数据实验环境，可以在线完成教材中的各个上机实验。
- 典型实战数据分析实验
- 提供完整的高校数据挖掘与大数据分析的实验室解决方案
- 通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练
表 大数据实训系统介绍-实训内容
| 实验类型 | 实验名称 |
|
数据挖掘展示性实验 |
数据基础统计实验 |
| 数据预处理实验 | |
| 组合算法分析实验 | |
| 分类算法实验 | |
| 聚类算法实验 | |
| 离群检测实验 | |
| 时间序列分析实验 | |
| 数据挖掘R语言开发实验 | 数据基础统计实验 |
| 数据预处理实验 | |
| 组合算法分析实验 | |
| 分类算法实验 | |
| 聚类算法实验 | |
| 离群检测实验 | |
| 时间序列分析实验 | |
| 大数据基础实验 | Hadoop环境的搭建实验 |
| 基础MapReduce开发实验 | |
| 迭代式MapReduce开发实验 | |
| 分区、排序和合并算法实验 | |
| Hive的使用实验 | |
| 大数据综合实验 | 超市零售数据分析实验 |
| Netflix电影数据分析实验 | |
| 组合算法分析实验 | |
| 新浪微博消息分析实验 | |
| 带有感情标签的微博数据分析实验 | |
| 网络安全日志分析实验 | |
| 出租车GPS位置分析实验 | |
| 社交资源共享站点用户行为分析实验 |
（图 大数据实验平台建设参与方）
| 行业 | 角色 | 参与方 |
| 大数据基础实施供应商 | 提供实验平台运行的基础设施 | 国富瑞（福建）信息技术产业园有限公司 |
| 大数据教学科研平台供应商 | 提供大数据实验平台 | 上海睿亚训软件技术服务有限公司 |
| 大数据课程资源提供方 | 提供大数据课程内容和实验方案 | 厦门大学数据库实验室 |
| 大数据产品开发企业 | 提供行业解决方案案例和企业实战环境 | 科技谷（厦门）信息技术有限公司
深圳前海鹏元数据技术有限公司 |
| 大数据交易与服务供应商 | 提供教学实践和科研训练大数据 | 数据堂（北京）科技股份有限公司 |
（2013年5月 厦门大学代表团到中国国际信息技术（福建）产业园访问交流）
2021年11月 实验室和美林数据达成合作协议（大数据应用能力成长平台）
美林数据技术股份有限公司（简称：美林数据，NEEQ：831546）是国内知名的数据治理和数据分析服务提供商，重点面向企业客户提供数据资产管理、数据分析与挖掘、数据开发应用为主的大数据产品及增值解决方案。自1998年成立至今，在能源、制造、金融、政务等领域积累了丰富的项目经验，自主研发的Tempodata系列大数据产品广泛应用于上千家大型企业，为用户提供从数据采集、数据资产管理、数据挖掘、数据分析应用等综合解决方案。当前，以信息技术和数据作为关键要素的数字经济蓬勃发展，并成为推动我国经济增长的重要力量。数字人才是数字经济发展的核心要素，实践出真知，美林数据基于数十年数据领域实践经验，结合产业发展的人才需求，为高校提供从教学、实践、科研一体化的大数据应用能力解决方案——Tempo Talents大数据人才应用能力成长平台。
（2016年6月 和上海睿亚训公司签订合作协议，林子雨被聘为首席科学家）
（2016年6月 数据堂公司郭维峰、段傲东、付超等访问实验室）
（2016年6月 与科技谷公司进行合作交流，图为林子雨和公司CEO陈思恩合影）
（2016年7月 与深圳鹏元数据签订合作协议）
（1）厦门大学数据库实验室
厦门大学数据库实验室是“厦门大学信息科学与技术学院文明卫生实验室”和“红旗实验室”，位于厦门大学海韵园，坐落在美丽的厦门珍珠湾，与大海仅有百米之隔。实验室老师包括冯少荣老师（副教授）、张东站老师（副教授）、林子雨老师（助理教授）、林文水老师（助理教授）。 实验室承担计算机系数据库课程的本科生和研究生教学工作，在数据库、数据仓库和数据挖掘领域开展相关研究，为社会培养了众多优秀的本科和硕士毕业生。实验室曾先后承办了第二十一届全国数据库库会议NDBC2004、第5届全国高等学校计算机程序设计课程研讨会等大型学术和教学研讨会，受到了广泛好评，在国内高校具有较高的知名度。
实验室建设了国内高校首个也是目前唯一一个“中国高校大数据课程公共服务平台”（平台官网），为教师开展大数据教学和学生学习大数据课程提供全方位、一站式免费服务，包括讲义PPT、教学大纲、备课指南、学习指南、上机习题、授课视频、技术资料等。
（访问平台主页）
（图 厦门大学数据库实验室大数据课程建设团队）
（2）上海睿亚训软件技术服务有限公司
上海睿亚训软件技术服务有限公司（官网）成立于2009年，是中国领先的IT教育云应用及服务提供商，为国内高校提供云计算与大数据学生上机实验室解决方案。已构建了包括传统软件开发如Java、.NET、测试，移动开发如Android、IOS及云计算、大数据等实践教育体系，并通过虚拟化云计算及移动互联网技术手段、结合线上及线下整合模式，为用户提供从教育内容建设、教育私有云建设为主，辅以培训、实训、评估到人力资源服务的整体解决方案，为中国的IT教育带来全新的活力。
目前已于全国近200家高等院校建立了合作关系，并与VMware、英特尔及惠普等各厂商建立了合作关系，有近20万高校专业学生通过睿亚训实践体系进行了职业技能提升，是国内IT类实践教育的市场领导者。
上海睿亚训软件技术服务有限公司
地址:上海市徐汇区钦州路100号
科创大厦2号楼206室
邮编:201203
（1）国富瑞（福建）信息技术产业园有限公司
国富瑞（福建）信息技术产业园有限公司是培训交流班的联合主办方，公司成立于2010年12月，是中国国际信息技术（福建）产业园管理委员会和中国国际电子商务中心（公司下属全资子公司国富瑞（北京）投资有限的合资公司。
中国国际信息技术（福建）产业园（以下简称“EC产业园”）（官网），位于福建省泉州市安溪县龙门镇南翼新城开发区高新技术产业园内（距离厦门北站约30公里，从厦门北站直接上高速公路20分钟直达园区，全程高速无红绿灯），总占地面积约1300亩。产业园规划建筑面积约100万平方米，主要建设内容包括核心业务区、综合服务区两大板块。其中，核心业务区包括数据灾备机房区、灾备指挥区、云计算中心、物联网研究中心、金融信息化中心、通讯运营中心、医疗运营中心、海峡两岸名品网络交易俱乐部、特色行业无纸化交易中心等功能板块；综合服务区包括海峡电子商务区、APEC电子商务国际交流中心、IT服务外包培训学院区、园区生活配套区等功能板块。产业园项目预计土建投资28亿元人民币，包括设备投资、基础设施投资等在内的总投资额将达60亿元人民币。
产业园致力于以国际最高等级第三方灾备/数据中心为核心，构建以信息技术服务外包为主的绿色生态产业链，打造集数据集中、安全管理、云服务、电子商务、数字金融、信息技术教育、国际交流、投融资环境等功能为一体，覆盖福建、辐射海西的国际一流高科技信息技术产业园区，实现一流环境吸引一流人才，一流人才创造一流业务，一流业务成就一流园区的良性发展目标。
EC产业园内的云计算与大数据培训基地具有以下基础条件和优势：
（a）完善的基础设施。EC产业园已经建成国内一流的教学楼、实验楼、行政办公楼、科学研究中心、文体活动中心、图书馆、餐厅、公寓等设施，是国内最具现代化和最富有特色的教育实训基地之一。
（b）先进的数据中心。EC产业园拥有华东南最大的高可用数据中心，项目总投资为20亿元，主要建设数据机房、动力中心、管理监控、业务处理和后勤保障等功能区建筑。按照国际上最高的T4等级标准设计和施工，可提供T2-T4等级服务，总建筑面积6.7万平方米，可安装4500个标准机柜，可容纳5万台以上的服务器。数据中心由中国国际电子商务中心负责组织运营，为福建省以及周边地区（包括台湾）的各级政府和企事业单位提供数据存储、数据交换、数据处理、数据灾备、系统测试、容灾恢复以及IT咨询、培训和技术支持等专业数据服务。同时还将提供云计算、物联网业务的服务。
（c）完整的产业链条。EC产业园作为信息化重要基础设施，总规划面积约2万亩，规划目标以大规模、多等级数据中心为核心，发展云计算、数字媒体、服务外包、电子商务、文化创意等五大产业，将逐步形成国内产业功能最为完善、布局合理的信息产业园，成为特色鲜明、功能完善、技术领先、带动显著、国内最大的服务外包示范平台。
（d）优惠的政策条件。2014年10月，福建省人民政府出台了支持发展大数据重点园区建设的十条措施，力争把数字福建（长乐）产业园、中国国际信息技术（福建）产业园建设成为全省大数据产业园区和“数字福建”建设的重要承载基地。新举措主要包括完善园区发展规划、引进培育产业龙头、推动资源汇聚开发、建设创新平台、加强人才培养、做好园区用地保障、确保园区用电需求、强化园区网络支撑、提高安全保障能力等。可以说，在政策层面，无论是园区建设还是人才培养，EC产业园都获得了较好的优势发展条件。
（2）数据堂（北京）科技股份有限公司
数据堂（股票代码：831428）成立于2011年，为国内上市的大数据资源服务龙头企业，致力于成为全球最大的数据服务商。秉承“专注数据，共享价值”的服务理念，旨在盘活和融合各类大数据资源，挖掘数据价值，为客户产品和服务增值，为社会发展和进步献策。
数据堂创始及合伙人来自Stanford University、NEC、腾讯、华为等知名高校，互联网和高科技公司。数据堂在非结构化数据处理、大数据云服务等方面拥有国际领先的自主核心技术，50%以上的员工从事创新、研究与技术开发工作。目前数据堂拥有4家全资子公司，并在硅谷下设美国子公司。
通过获取线下大数据、行业大数据以及政府大数据，数据堂整合了涵盖科技、信用、交通、医疗、卫生、通信、天气、地理、质监、环境、商户、电力等数十大领域的大规模数据。以此为基础，为客户提供专业数据采集处理、共享交易及数据云服务。当前数据堂已为百度、腾讯、阿里巴巴、平安、Microsoft、Facebook、Intel、NEC、Canon、Samsung等国内外知名企业，以及众多国内外创新创业公司提供数据服务。
（3）科技谷（厦门）信息技术有限公司
科技谷（厦门）信息技术有限公司成立于2013年，是一家专注于大数据技术与应用服务的高科技企业，在大数据管理和分析、信息检索等方面具有国内领先的自主核心技术和尖端产品，为航空旅游、交通管理、公共安全等领域提供大数据整体优化解决方案。科技谷创业伊始就形成了以海外归国留学人员为核心的研发团队，积极参与国内民航、交通、公共安全等行业的信息化改造，拥有大数据产业链上下游资源和多项数据存储和处理的自主知识产权。
科技谷自主研发的大数据管理平台已成功应用在国内民航、公共安全等领域；科技谷的数据挖掘工具可以让组织通过视觉化海量数据来发现数据之间蛛丝马迹的联系。在未来云计算、大数据和移动互联网的发展浪潮中，公司将致力于大数据技术和服务的持续创新，打造大数据领域卓越品牌，逐步成为全球大数据技术与应用的领导者，做中国的Palantir。
诚邀相关高校企业加盟合作，共建高校大数据实验平台生态系统。
联系方式：
厦门大学数据库实验室 林子雨 老师
E-mail: ziyulin@xmu.edu.cn