大数据公开课山东大学专场
第一场：2015年10月13日（周二）下午1:30-5:30 山东大学软件园校区教学楼5-207
第二场：2015年11月10日（周二）下午1:30-5:30 山东大学软件园校区教学楼5-207
主讲教师：厦门大学计算机科学系教师 林子雨 博士/助理教授
(E-mail: ziyulin@xmu.edu.cn, 个人主页：http://www.cs.xmu.edu.cn/linziyu)
专场介绍|公开课质量标准|主讲人介绍|保障团队|共建单位|推荐教材|致谢|班级相册
中国高校大数据课程公共服务平台|大数据课程学生服务站|大数据课程教师服务站|公开课讲义PPT下载|课后习题|期末考试说明
扫一扫手机访问本网页
（1）第一场公开课介绍
题目：大数据概念、技术与应用
授课对象：山东大学计算机学院本科生和研究生
时间地点：2015年10月13日（周二）下午1:30-5:30 山东大学软件园校区教学楼5-207
摘要：大数据作为继云计算、物联网之后IT行业又一颠覆性的技术，备受关注。大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业，都融入了大数据的印迹，大数据对人类的社会生产和生活必将产生重大而深远的影响。
本次大数据公开课，连续安排四个课时，将由林子雨老师系统介绍大数据概念、技术与应用，帮助大家形成对大数据知识体系及其应用领域的轮廓性认识，为大家在大数据领域“深耕细作”奠定基础、指明方向。课程内容涵盖大数据、云计算和物联网概念及其相互关系、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库和分布式并行编程模型MapReduce。
（2）第二场公开课介绍
题目：分布式数据库HBase和分布式并行编程框架MapReduce
授课对象：山东大学计算机学院本科生和研究生
时间地点：2015年11月10日（周二）下午1:30-5:30 山东大学软件园校区教学楼5-207
报告摘要：
10月13日第一次大数据公开课上，林子雨老师系统介绍了大数据概念、技术与应用，帮助大家形成了对大数据知识体系及其应用领域的轮廓性认识，为大家在大数据领域“深耕细作”奠定了基础、指明了方向。
本次（第二次）大数据公开课，将连续安排四个课时，由林子雨老师深入介绍分布式数据库HBase和分布式并行编程框架MapReduce两大关键技术。课程内容涵盖HBase数据模型、HBase实现原理、HBase运行机制、MapReduce工作流程、Shuffle过程详解、MapReduce编程实践等。
（图 10月13日课堂照片）
（图 10月13日林子雨在讲台上授课）
（图 10月13日获得林子雨老师签名赠书的高凯、吴双等三名山东大学学生）
（图 11月10日下午第二场公开课林子雨和全程听课的山东大学李晖老师合影）
大数据公开课全国高校巡讲计划，全程严格执行“林子雨精品大数据公开课六大质量标准”，确保上课质量和听众满意。“林子雨精品大数据公开课六大质量标准”包括：精品教材+精心备课+精彩讲解+优雅形象+标准音质+完整服务。
（图 林子雨精品大数据公开课六大质量标准）
“林子雨精品大数据公开课六大质量标准”具体如下：
（1）精品教材：采用林子雨编著《大数据技术原理与应用》教材，国内高校第一本系统介绍大数据知识专业教材，人民邮电出版社出版发行，京东、当当等各大网店畅销书籍；
（2）精心备课：全情投入，认真备课。针对不同学生群体，设计不同课程内容。制作精美讲义PPT，反复排练，确保课堂流畅教学；
（3）精彩讲解：知识成体系，讲解有思路，课堂要生动，听众要满意；
（4）优雅形象：西装领带，礼貌谦恭，全程站立，举止优雅；
（5）标准音质：采用标准普通话授课，吐字清晰，声音洪亮；自带高品质专业音响到全国各高校上门授课，确保声音清晰呈现；
（6）完整服务：为每次公开课专场建立专场主页，提供课程全套资料，发布精彩课堂照片；建设完整的大数据课程公共服务体系，提供大数据课程教师服务站——为教师开展大数据教学提供一站式服务，以及大数据课程学生服务站——为学生学习大数据课程提供一站式服务。
山东大学是一所历史悠久、学科齐全、学术实力雄厚、办学特色鲜明，在国内外具有重要影响的教育部直属重点综合性大学，是国家“211工程”和“985工程”重点建设的高水平大学之一。
作为国家首批重点建设的“211工程”和“985工程”大学，近年来山东大学实现了跨越式发展，各项事业均达到了前所未有的高度。学校的综合办学实力和竞争力明显增强，办学质量和为国家、区域服务的能力显著提高，国际影响力大幅度提升，9个学科的学术影响力和贡献能力跨入世界前1%。学校基本完成了从教学科研型大学向研究型大学的转型。
学校规模宏大，实力雄厚。总占地面积8000余亩（含青岛校区约3000亩）， 形成了一校三地（济南、青岛、威海）八个校园（济南中心校区、洪家楼校区、趵突泉校区、千佛山校区、软件园校区、兴隆山校区及青岛校区、威海校区）的办学格局。现有4所附属医院，3所非隶属附属医院，11所教学、实习医院。拥有在职教职工7782人（不含附属医院）。各类全日制学生达6万人，其中，全日制本科生41103人，研究生16607人，留学生1813人。学校汇聚了一批杰出人才，共有教授1107人，博士生导师907人。学校有中国科学院和工程院院士8人，双聘院士43人。
.jpg)
厦门大学计算机科学系 林子雨 博士/助理教授
林子雨，男，1978年出生，博士，现为厦门大学计算机科学系助理教授，海峡云计算与大数据应用研究中心副主任，曾任厦门大学信息科学与技术学院院长助理、晋江市发展和改革局副局长。现为厦门市计算机学会理事，海西创客学院首批30名创业导师之一，泉州市物流信息化产业技术创新战略联盟专家委员会副主任，厦门市物流协会信息化专业委员会委员。中国高校首个“数字教师”提出者和建设者，厦门大学数据库实验室负责人，厦门大学云计算与大数据研究中心主要建设者和骨干成员，厦门大学计算机系官方网站和厦门大学数据库实验室官方网站建设者和维护者。于2001年获得福州大学水利水电专业学士学位，2005年获得厦门大学计算机专业硕士学位，2009年获得北京大学计算机专业博士学位。主要研究方向为数据库、数据仓库、数据挖掘、大数据、云计算和物联网，并以第一作者身份在《软件学报》《计算机学报》和《计算机研究与发展》等国家重点期刊以及国际学术会议上发表多篇学术论文。作为项目负责人主持的科研项目包括1项国家自然科学青年基金项目(No.61303004)、1项福建省自然科学青年基金项目(No.2013J05099)和1项中央高校基本科研业务费项目(No.2011121049)。曾作为志愿者在国内第一个翻译了Google Spanner、BigTable和《Architecture of a Database System》等大量英文学术资料，与广大网友分享，深受欢迎。主讲厦门大学本科生课程《数据库系统原理》、《C语言程序设计》、《计算机基础》和和研究生课程《分布式数据库》、《大数据技术基础》，在教学过程中形成班级网站、结课仪式、师生互动等创新性教学模式方法，志愿编写了多本服务计算机系全体教师教学工作的教学指南；因在教学领域的突出贡献和学生的认可，成为2013年度厦门大学教学类奖教金获得者，并获得由厦门大学计算机系12级全体硕士研究生集体赠送的“难忘师恩牌匾”。志愿编写并免费网络发布了50余万字的大数据专业教材《大数据技术基础》电子书和40余万字的中国高校第一本闪存数据库研究专著《闪存数据库概念与技术》电子书，编著出版了中国高校第一本系统介绍大数据知识的专业教材《大数据技术原理与应用》。作为带队指导老师，带领厦门大学“晋情溢厦”暑期社会实践队圆满完成暑期社会实践活动，荣获“优秀团队”和“优秀调研报告”荣誉称号。开创“暑假拼血奋战70天”品牌活动和“手把手一对一”指导学生模式；开展标准实验室建设，荣获“厦门大学信息科学与技术学院文明卫生实验室”称号。作为项目负责人主持完成的项目主要包括《城市信息化顶层设计框架研究报告》、《2015年泉州市互联网经济调研报告》、《厦门市云计算产业发展技术路线图》、《石狮市物流园区建设方案研究报告》、《晋江市海洋生物科技园区建设方案建议书》、《国家物联网重大应用示范工程重点项目福建省物联网科学院平台实施方案》、《国家物联网重大应用示范工程区域试点泉州市总体工作方案》、《基于地面远程控制的新一代智能塔吊系统实施方案》、《基于大数据的综合健康服务平台2015科技部支撑计划项目申报书》等。
了解更多，欢迎访问林子雨个人主页（http://www.cs.xmu.edu.cn/linziyu）。
大数据公开课全国高校巡讲计划，是中国高校大数据课程公共服务平台重点打造的5号工程。
中国高校大数据课程公共服务平台，由中国高校首个“数字教师”的提出者和建设者——林子雨老师发起，由厦门大学数据库实验室全力打造，由厦门大学云计算与大数据研究中心、海峡云计算与大数据应用研究中心携手共建。平台从2013年5月开始建设，2015年8月1日完成1号工程（教材出版），2015年11月2日，平台正式上线。这是国内第一个服务于高校大数据课程建设的公共服务平台，旨在促进国内高校大数据课程体系建设，提高大数据课程教学水平，降低大数据课程学习门槛，提升学生课程学习效果。
平台重点打造“9个1工程”，即1本教材（含官网）、1个教师服务站、1个学生服务站、1个公益项目、1堂巡讲公开课、1个示范班级、1门在线课程、1个交流群（QQ群、微信群）和1个保障团队。九大工程中，除了“1门在线课程”正在加紧建设，其他八大工程都已经顺利建成！
中国高校大数据课程公共服务平台，是一个开放的平台，不断进步提升的平台，热忱欢迎国内高校热爱大数据教学的开拓创新者加入平台，为平台建设添砖加瓦，共同推进中国高校大数据教学事业不断迈上新的台阶。
推荐高校教师和学生在大数据入门课程的教学中使用林子雨博士编著的入门级大数据教材《大数据技术原理与应用》，欢迎访问该教材官网，获取教材配套讲义PPT（可编辑格式）。
林子雨在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，在政府发改部门的两年挂职期间对大量企业的调研，使其形成了比较宽泛的视野和对产业的深入了解。
2013年9月，由林子雨主讲的厦门大学计算机科学系研究生课程《大数据技术基础》正式开课。由于当时国内尚未出现适合本科和研究生教学的大数据专业教材，林子雨结合自身研究成果，并调研大量网络资料，历时半年编写完成了免费开源的课程讲义，发布到网络上，受到广大网友好评。
2014年开始，历时一年多时间，林子雨系统总结理论研究成果和教学实践经验，将相关大数据知识综合成一本适合本科和研究生教学的教材——《大数据技术原理与应用》。该教材由人民邮电出版社出版发行，2015年8月正式在当当、京东、淘宝、亚马逊等各大网店上架销售，并成为畅销书籍。近几年的教学实践证明，目前市场已有的各类其他书籍，大都偏于技术，比较适合作为深入学习的工具书来使用，不适合作为高校本科和研究生教学的教材。高校教学应更加侧重理论层面的教学，即对大数据领域知识体系的普及和背后原理的阐述，而非让学生深入学习和实践某一种大数据技术。从这个角度来说，《大数据技术原理与应用》是国内高校第一本系统介绍大数据知识的专业教材，也是第一本适合用于本科和研究生教学的入门级教材。
大数据课程学生服务站由林子雨老师提供全程指导，并由数据库实验室硕士研究生具体建设，完全以学生的视角提供服务内容。承担建设任务的硕士研究生，刚刚接触大数据，从零开始学习大数据相关知识，会把学习过程的各种问题、解决方案、学习方法和实践经验分享发布到服务站。
“大数据课程教师服务站”为中国高校从事大数据课程教学的教师，提供备课指南、课程教材、讲义PPT、课程习题、经验交流、技术资料等全方位、一站式服务，减轻教师备课负担，提高备课效率，促进经验交流，提升教学水平，促进中国高校大数据课程教学不断发展。
本站服务于尚未开设和已经开设大数据课程的高校教师，如果您尚未开设但是计划开设入门级大数据课程，欢迎访问“厦门大学辅助国内高校开设大数据课程公益项目”主页，了解如何获得开设入门级大数据课程的全流程指导与服务。
（1）2015年10月13日第一场公开课课件下载
| 章节 | 下载 |
| 厦门大学林子雨-大数据技术公开课-第1讲-大数据概述 | 下载 |
| 厦门大学林子雨-大数据技术公开课-第2讲-大数据处理架构Hadoop | 下载 |
| 厦门大学林子雨-大数据技术公开课-第3讲-分布式文件系统HDFS | 下载 |
| 厦门大学林子雨-大数据技术公开课-第4讲-分布式数据库HBase | 下载 |
| 厦门大学林子雨-大数据技术公开课-第5讲-NoSQL数据库 | 下载 |
| 厦门大学林子雨-大数据技术公开课-第6讲-云数据库 | 下载 |
| 厦门大学林子雨-大数据技术公开课-第7讲-MapReduce | 下载 |
（2）2015年11月10日第二场公开课课件下载
| 章节 | 下载 |
| 厦门大学林子雨-大数据专题技术型公开课-第1讲-MapReduce | 下载 |
| 厦门大学林子雨-大数据专题技术型公开课-第2讲-分布式数据库HBase | 下载 |
备注：公开课上，林子雨老师只讲述了分布式数据库HBase原理，没有讲解编程实践。为了顺利完成HBase章节的作业，请同学们参考林子雨老师编著《大数据技术原理与应用》教材第4章分布式数据库HBase的第4.6节HBase编程实践。没有教材的同学，可以参考林子雨老师实验室网站的博客文章《HBase的安装与运行》。实验在Linux环境下运行，如果同学电脑操作系统是Windows，可以参考“大数据课程学生服务站”的“自学大数据技术相关教程”中的相关教程，在Windows系统上安装Linux虚拟机，从而可以顺利完成课后习题。学生作业完成以后，学生要把实验报告提交给山东大学崔立真老师。
| 章节 | 习题名称 | 习题目的 | 下载 |
| 厦门大学林子雨-大数据专题技术型公开课-第1讲-MapReduce | MapReduce编程初级实践 | 1.通过实验掌握基本的MapReduce编程方法；
2.掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。 |
下载 |
| 厦门大学林子雨-大数据专题技术型公开课-第2讲-分布式数据库HBase | 熟悉常用的HBase操作 |
|
下载 |
（1）期末考试题型：林子雨老师讲解的大数据技术部分，期末考试题目全部是问答题。
（2）学生期末考试复习范围：学生可以到京东、当当等各大网店购买厦门大学林子雨编著的《大数据技术原理与应用——概念、存储、处理、分析与应用》教材（人民邮电出版社2015年8月1日出版发行，点击这里访问教材官网），或者，借一本该教材，到复印店复印第1章到第7章的全部内容，也就是从第1页到第150页的全部内容。期末考试范围包括该教材第1章到第7章的所有理论内容（编程实践内容，只作为课后习题，不会考试，不用复习），请同学们认真复习前7章的所有理论内容。尤其需要注意的是，复习需要看的教材是《大数据技术原理与应用——概念、存储、处理、分析与应用》，不是《大数据技术基础》电子书，两本书不同，请不要用错教材。
大数据技术公开课由厦门大学数据库实验室提供全程支持和保障。网址：https://dblab.xmu.edu.cn/
厦门大学数据库实验室是“信息科学与技术学院文明卫生实验室”，位于厦门大学海韵园，坐落在美丽的厦门珍珠湾，与大海仅有百米之隔。实验室老师包括冯少荣老师（副教授）、张东站老师（副教授）、林子雨老师（助理教授）、林文水老师（助理教授）。 实验室承担计算机系《数据库系统原理》、《分布式数据库》和《大数据技术基础》等课程的本科生和研究生教学工作，在数据库、数据仓库、数据挖掘和大数据领域开展相关研究，为社会培养了众多优秀的本科和硕士毕业生。实验室先后于1989年和2004年承办了第八届和第二十一届全国数据库会议（NDBC），受到广泛好评。
（图 数据库实验室团队合影）
厦门大学云计算与大数据研究中心是大数据技术公开课的共建单位，为本公开课提供理论、技术、设备、人员和教学环境等各方面支持，包括平台网站虚拟主机空间、教学机房、技术支持等。林子雨老师是厦门大学云计算与大数据研究中心的主要建设者和骨干成员，承担了研究中心筹建阶段和运作阶段的大量工作，包括起草发展规划、撰写会议纪要、筹备成立大会、对外合作交流等。
（2013年7月6日，林子雨主持厦门大学云计算与大数据研究中心成立揭牌仪式）
（2013年7月6日，厦门大学云计算与大数据研究中心成立揭牌仪式）
厦门大学云计算与大数据研究中心是校级跨学科研究机构，负责统筹和管理全校的存储和超级计算资源。研究中心由厦门大学信息科学与技术学院、厦门大学信息与网络中心共同设立，挂靠厦门大学信息科学与技术学院，是福建省重点实验室、福建省2011协同创新中心和福建省工程技术研究中心培育单位。
研究中心的建设目标是成为在云计算与大数据领域内受到国内同行认可，拥有一批国际知名专家学者，并具有较高学术声誉的研究单位，以及政府和企事业单位的决策咨询单位。 研究中心现有首席科学家4名（闽江讲座教授、厦门大学讲座教授），教授10名，副教授9名，助理教授15名，高级工程师5名，工程师15名。团队所指导的在校博士生7人，在校硕士研究生150余人。研究中心占地1000余平方米，设备金额近2000万。
当前，研究中心主攻4个研究方向，分别是：大数据挖掘与计算智能、大数据环境下的分析与优化、视觉云计算与云安全技术、云计算架构与智慧城市。各研究方向均配置1名首席科学家和1名学科带头人，并成立相应的研究小组。研究中心重视理论研究与实际应用的结合，成功创建了遥感与空间信息大数据分析与处理、金融数据分析、微博等社交数据分析和制造业数据分析等应用实例，形成了完整的解决方案。
研究中心注重对外交流与合作，围绕省级重点实验室、省级协同创新中心和省级工程技术研究中心的建设，研究中心已经和厦门产业技术研究院、厦门理工学院、厦门大学嘉庚学院、中国国际信息技术（福建）产业园、中国电信福建公司、厦门市信息投资有限公司、厦门软件投资有限公司和易联众信息技术股份有限公司等签署合作备忘录，协作创新，力争形成完整的云计算与大数据研究和产业链，实现产学研政经的有效结合。
衷心感谢山东大学计算机科学与技术学院崔立真教授、鹿旭东老师和史玉良老师对本次公开课的大力支持和帮助！
崔立真，博士，山东大学计算机科学与技术学院教授，博士生导师，现任山东大学软件学院副院长、电子商务研究中心副主任、软件与数据工程研究中心主任、济南市大数据集成与智能分析优秀创新团队学术带头人。中国计算机学会数据库专委会委员、服务计算专委会常委委员、协同计算专委会委员。曾任中国计算机学会青年计算机科技论坛（CCF YOCSEF）济南2010-2011年度分论坛主席。2013年1月至2014年1月美国佐治亚理工学院访问学者。主要研究方向为数据科学与工程、智能数据分析，服务计算，协同计算等。
先后承担并完成国家自然科学基金、国家科技支撑计划、国家发改委CNGI专项、教育部博士点新教师基金、山东省自然科学基金等多项国家、省部级科研项目。在《IEEE Transactions on Parallel and Distributed Systems》、《IEEE Transactions on Service Computing》、《计算机学报》、ICWS等发表SCI、EI收录学术论文30余篇。获山东省科技进步一等奖1项，二等奖2项，教育部科技进步二等奖1项。
