《大数据技术基础》2013班级主页

林子雨 21467

大数据技术原理与应用推广链接图片

《大数据技术基础》2013班级主页

主讲教师：林子雨

E-mail: ziyulin@xmu.edu.cn        个人主页：http://www.cs.xmu.edu.cn/linziyu

2013班级概况|名单|课程历史|公告板|重要资源|海报|记事表|推荐阅读|下载专区|相册

课程历史

备注：林子雨老师从2013年9月开始主讲《大数据技术基础》课程，之前林子雨主讲的研究生课程《分布式数据库技术》今后不再开课，如果需要查看历史班级授课情况，请访问《分布式数据库技术》课程网页。

2013班级概况

学期 课程名称 授课对象 班级人数 授课时间与地点 助教 班歌 班曲
2013-2014秋季学期 大数据技术基础 计算机科学系2013级研究生 59 每周六下午5、6、7节，厦大海韵教学楼207教室 赖明星 《存在》 《琵琶语》

学生名单

栾钦波、蔡辉虎、蔡媛媛、常旺、陈坤源、陈日伟、陈晓锋、郭锡朝、黄芳芳、黄守辉、蒋琪凌、李培、李欣悦、李友、李雨倩、李逸尘、刘敏、卢畅、彭雨龙、唐璐、王菁菁、瓮升霞、吴凡、吴鸿腾、谢思发、袁思思、赵忠龙、蔡珉星、蔡志鹏、陈佳晶、陈俊捷、陈艺清、何宝琴、黄华强、黄文颖、李金金、李舒婷、李子铭、林晓翠、林一奇、刘齐、刘晓娟、潘思宇、齐飞、涂锦灿、王骏钰、王晓然、王玉成、魏陈强、吴伟伟、徐超、杨李冬、杨志伟、应文涛、张晨、张鹏飞、张润、郑涛、周斌

厦门大学，林子雨，大数据技术基础

团队名单

团队 队长 队员 队员 队员
第1团队 吴凡 蔡媛媛 陈佳晶 王菁菁
第2团队 蔡志鹏 吴鸿腾 吴伟伟 李舒婷
第3团队 李友 杨李冬 陈晓峰 黄守辉
第4团队 陈坤源 陈日伟 黄芳芳 蒋琪凌
第5团队 刘晓娟 赵忠龙 陈俊捷 陈艺清
第6团队 郭锡朝 李逸尘 周斌 瓮升霞
第7团队 刘齐 涂锦灿 林一奇
第8团队 黄文颖 齐飞 李子铭 李金金
第9团队 徐超 王骏钰 应文涛 郑涛
第10团队 魏陈强 李培 谢思发 杨志伟
第11团队 张鹏飞 张润 蔡辉虎 彭雨龙
第12团队 唐璐 何宝琴 黄华强 卢畅
第13团队 常旺 王玉成 袁思思 李雨倩
第14团队 蔡珉星 潘思宇 王晓然 林晓翠
第15团队 刘敏 李欣悦 张晨

选课海报

厦门大学，大数据技术基础，林子雨

班级公告板

序号 发布时间 内容
1 2013年7月4日 老师开始备课了……
2 2013年7月4日 大数据与云计算国际学术会议BDCC2013，欢迎访问
3 2013年7月4日 欢迎访问厦门大学云计算与大数据研究中心
4 2013年7月5日 温馨提示：本课程可以不用购买教材
5 2013年8月1日 推荐：MIT公开课视频，包括上百门大学课程
6 2013年8月20日 老师和助教开始设计课程期中作业
7 2013年8月29日 推荐同学们在自己的手机上安装“厦门智能交通手机客户端”（下载地址），可以使用手机软件快速招到出租车，查询各路公交车当前到达哪个站，厦门市区道路路况和路口视频。
8 2013年9月20日 老师和助教顺利完成期中作业设计工作
9 2013年9月27日 发布2013班级学生名单
10 2013年9月28日 第一次课顺利完成。请到“下载专区”下载期中作业说明。课堂照片已经放入班级相册。
11 2013年9月28日
现在，正式启动本课程第一个重要任务——组建团队。具体规则如下：
（1）每个团队共有4名队员，包括1名队长和3名普通成员。由于班级一共有61人，会产生15个团队，最终会多1位同学，老师会在产生15个团队后决定这位同学增加到哪个团队。
（2）每个团队男女随意组合，也就是说，全是男生，或者全部是女生，也都可以。不过，大家最好适当注意性别搭配。
（3）请在本周日（9月29日）晚上9点之前，完成团队组建，并由队长发送团队名单（在名单中仍然要注明谁是队长）给老师邮箱，老师收到邮件一定会给予回复。剩余无法成功组队的同学，在截止时间之前也请给老师发送邮件，告诉老师你找不到团队可以加入。
（4）对于在截止时间到了以后，仍然没有完成组队的同学，由老师决定剩余同学如何组队，老师一般会采取男女搭配和随机组合相互结合的方法完成组队。
（5）团队组建完毕后，队长就可以立即给老师发送邮件，老师根据收到邮件的先后顺序给每个团队分配编号，老师期待第1号团队的荣耀诞生。在第14支团队诞生之前，老师不接受超过4人的组队。当4人团队数量达到14个，剩余一个团队老师可以接受超过4人组队时，如果还有必要，老师会发邮件通知大家。
12 2013年9月29日 班级团队组建完成，每个团队为荣誉而战，合作完成期中作业
13 2013年9月29日 根据厦门大学国庆放假安排，我们需要在10月5日上第2次课，在10月7日上第3次课，请大家一定要注意上课时间。
14 2013年10月4日 10月5日（周六，明天）下午567节课程内容安排是第1章“大数据概述”。
15 2013年10月5日 今日课件和教材已经在班级网站发布，请到“下载专区”下载。
16 2013年10月6日 10月7日（周一，明天）下午567节课程内容安排是第2章“大数据关键技术与挑战”。
17 2013年10月7日 今日课件和教材（第2章大数据关键技术与挑战）已经在班级网站发布，请到“下载专区”下载。
18 2013年10月8日 正式确定团队分组名单。
19 2013年10月17日 10月19日（周六）下午567节，继续把第2章“大数据关键技术与挑战”的剩余内容讲完，然后开始第3章Hadoop讲解。
20 2013年10月19日 今日课件和教材（第3章Hadoop）已经在班级网站发布，请到“下载专区”下载。
21 2013年10月21日 课外活动推荐（致动漫爱好者）：2013年厦门国际动漫节(10月25日-10月28日，访问动漫节官方网站)。每年老师都会把这个活动推荐给班级的动漫爱好者，往年有同学去参加过，反映不错。如果你是动漫爱好者，这个机会不容错过。
22 2013年10月25日 10月26日（周六）下午567节，讲解第4章MapReduce。
23 2013年10月26日 今日课件和教材（第4章MapReduce）已经在班级网站发布，请到“下载专区”下载。
24 2013年10月30日
《大数据技术基础》2013班级各位同学，大家好！
老师主讲的研究生课程《大数据技术基础》2013班级，设立有1000元的班级活动经费（老师自己投入）。老师每年都是把班级活动安排在10月末到11月初的第一个周六，太早的时候老师与大家都很陌生，再晚一周天气都会变得很冷，只有这周是最佳时间。
因为本周六学校举行运动会，周六下午无法上课（本周课程可能会调整到本周日晚上上课），所以，现在确定于本周六（11月2日）上午举行班级第一次活动，本次活动经费预算500元，使用班级活动经费，“不需要”同学自己出钱。
类似学生活动，老师已经举办过多次，具有丰富的接待经验。精心的安排，一定可以带给同学全新的周末休闲体验。
本次活动说明如下：
1、活动时间地点：2013年11月2日（周六），上午9点到下午3点（根据具体活动情况，有可能持续到下午4点多）。
2、活动地点：厦门五缘湾（中国第一爱情湾，厦门最佳家庭休闲游目的地，城市湾居生活典范）
3、活动内容：（1）登高28楼天台，全景俯瞰五缘湾，体会台湾设计大师的传奇作品；（2）参观老师自家“菜园”，亲自“偷菜”
，用于后面的野炊活动和喂天鹅活动；（3）漫步海上木栈道，感受碧波万顷的五缘湾内弯风情，尽览五缘湾游艇码头靓丽海岸线；（4）参观五缘湾游艇码头，贴近时尚浪漫的顶级湾居生活；（5）游走五缘湾湿地公园，喂黑天鹅，走迷宫木栈道；（6）午餐时间接受老师宴请，共享融入老师巧妙心思的“野炊大餐”（备注：老师准备了炉火工具，能不能快速把炭火烧起来，就看同学的了）。
4、活动交通：请同学打车在周六上午9点之前到达五缘湾；活动结束后，老师亲自驾车送同学回学校。活动过程各个地点之间切换，全部通过乘坐老师的汽车来完成。
5、活动人员要求：参加本次活动的同学，总共4人，两男两女，必须保证周六上午8点到下午5点之间可以全程参与活动，不能中途离开。
6、活动人员产生办法：同学收到本邮件以后，就可以开始报名，必须使用同学自己的电子邮箱发送报名电子邮件给老师，不接受短信、打电话等其他方式报名。电子邮件中，只要写上自己的“名字和性别”就可以了。老师会根据自己邮件客户端收到的邮件的时间先后顺序，选择前两名男生和前两名女生。老师自己指导的两个硕士研究生不参与本次活动，因为，老师以后会另外找其他时间带他们去五缘湾活动。另外，参加学校运动会的同学，可能没有时间参与这次班级活动，这里向这些同学表示歉意，因为，只有这周活动是最合适的，往后再过一周，天气会变得很冷，就不适合搞班级户外活动了，还请同学们给予理解。谢谢！
本次活动全程高清照相，相片入班级相册。现在报名开始了，老师期待同学的报名电子邮件，如果没有人报名，老师就要“抓壮丁”了，呵呵。谢谢大家的积极参与，让我们共同创造多姿多彩的研究生生活!
25 2013年10月30日 11月2日（周六）班级五缘湾活动名单产生：刘晓娟（女）、李金金（女）、陈日伟（男）、李培（男）。
26 2013年11月1日 《大数据技术基础》因为校运会本周“停课一次”。

校运会期间，全校停课三天（周五、周六和周日）。此前老师一直在努力申请调课（因为少一周课，就会少讲一些内容），打算把本周六下午的课，调整到本周日晚上。但是，经过李雨倩同学和相关部门反复沟通后，发现遇到两个问题：（1）周日晚上运动员可能聚餐；（2）周日全校停课，教室多媒体不给开（没有投影仪和电脑用），无法上课，申请其他上课场地很麻烦。所以，老师最终决定放弃调课，本周“停课一次”。谢谢大家！
27 2013年11月2日 班级今日五缘湾师生游的照片已经发布，请点击这里访问。参加本次活动的人员包括：林子雨老师和刘晓娟（女）、李金金（女）、陈日伟（男）、李培（男）等四位同学。
28 2013年11月5日
课外活动推荐：推荐给对游艇感兴趣的同学，这是厦门一年一度的国际游艇盛会，“中国水上第一展”，每年都会举行“游艇宝贝”大赛和相关高端奢侈品展示。门票价格往年好像是50元一张。官方网站：http://www.xmboatshow.com
11月8日至11日，第六届中国（厦门）国际游艇展览会将在五缘湾游艇港隆重举行。届时，全球顶尖的游艇领军企业将携旗下产品齐聚厦门，您将有机会近距离一睹难得一见的高端游艇，并领略不同以往的海洋休闲生活方式。
　　六年磨一剑，如今的中国（厦门）国际游艇展已名列全国三大游艇展之一，每年吸引着数以万计的人潮，享有中国水上第一展的美誉。今年的游艇展仍将保持水陆联动一体的特色，现场将有351个泊位，30000多平方米的水上展区。
29 2013年11月5日 本周六（11月9日）下午567节课程内容预告：讲解第5章HDFS和第6章Zookeeper。
30 2013年11月9日 第5章HDFS和第6章Zookeeper教材PDF和讲义PPT已经发布，请到“下载专区”下载。
31 2013年11月11日 本周六（11月17日）下午567节课程内容预告：讲解第7章HBase。
32 2013年11月16日 期中作业必须于2013年11月23日（厦门大学教学周第十周周六）21点00分之前提交。
33 2013年11月21日 本周六（11月23日）下午567节课程内容预告：讲解第8章流计算。
34 2013年11月23日 第8章流计算教材PDF和讲义PPT已经发布，请到“下载专区”下载。
35 2013年11月27日 本周六（11月30日）下午567节课程内容预告：讲解第9章图计算。
36 2013年11月30日 第9章图计算教材PDF和讲义PPT已经发布，请到“下载专区”下载。
37 2013年12月5日 本周六（12月7日）下午讲解第10章NoSQL数据库和第11章云数据库。
38 2013年12月7日 第10章NoSQL数据库和第11章云数据库教材PDF和讲义PPT已经发布，请到“下载专区”下载。
39 2013年12月10日 本周六（12月14日）下午讲解第12章Google Spanner。
40 2013年12月13日 本周六下午的上课教室被四六级考试占用，周末期间调课和教室申请手续无法办理，经过努力无法申请到周日的教室，所以取消周六下午课程。
41 2013年12月15日 由于周六（12月14日）的课程由于四六级考试而取消，无法安排其他时间补课，因此，请同学们自学第12章Google Spanner的内容，教材PDF和讲义PPT已经发布，请到“下载专区”下载。
42 2013年12月15日 第13章Google Dremel教材PDF和讲义PPT已经发布，请到“下载专区”下载。
43 2013年12月15日 12月21日（周六）下午567节讲解第13章Google Dremel；12月28日（周六）下午567节举行期中作业答辩，请各个团队做好答辩准备。下周，老师会发布一个完整版本的教材PDF，供大家复习。
44 2013年12月17日
大数据技术基础2013班级各位同学，大家好！
12月28日（周六）举行大数据技术基础期中作业答辩，要求如下：
        （1）每个团队选择一个报告人，制作简单的PPT，上台讲解自己团队的工作，只需要讲解与MySQL性能测试相关的部分，包括调优点和遇到的问题。讲解尽量详细，要让没有采用该调优点的同学明白该调优点的意义，以及为什么修改该调优点以后能够获得整体性能的提升，讲解遇到的问题时，要让没有遇到该问题的同学知道你们遇到了什么问题，这个问题是怎么解决的；
        （2) 每个团队上台报告不超过10分钟；
        （3）每个团队每个队员都到场参加答辩，请队长注意通知队员参加答辩；
        （4）老师和助教（赖明星同学）会现场提问，可能会问团队里面的任何一个同学，必须由该同学本人回答，团队内其他同学不能代替回答；提问的内容不限于MySQL性能测试，还可能会包括VISIO、MATLAB和ORIGIN；期中作业虽然讲求分工完成，但是，要求每个同学都熟悉全部作业内容；
        （5） 期中作业目前已经完成初步批改，老师会根据答辩情况，如果有必要会对批改成绩进行适当调整。
注意：
        答辩当天助教会带笔记本到现场，笔记本中安装了windows 7系统和Ubuntu 12.04 LTS系统，并且已下载好putty(用于SSH连接，也可以切换到Ubuntu 12.04进行SSH连接)。答辩当天需要当场演示，在笔记本上做实验的同学，请自带笔记本。在windows下使用虚拟机完成实验的同学，请将自己的电脑设置好远程连接，到时候通过助教的笔记本远程连接到你自己的电脑进行操作。通过Wubi安装（或者硬盘安装和U盘安装）Linux的同学，可以使用SSH连接到自己的电脑上进行远程操作。所以，请务必准备好演示过程，不知道怎么进行远程连接的同学，可以向助教（me@mingxinglai.com)寻求帮助。
        祝大家答辩顺利！
45 2013年12月18日 《大数据技术基础》教材完整版已经发布，一个PDF文件包含了所有章节内容，请到“下载专区”下载。
46 2013年12月21日
《大数据技术基础》期末考试时间地点：2014年1月4日（周六）下午2点30分厦大曾厝垵学生公寓教学楼205教室。
考试内容涉及教材13章内容，每章内容都有考题，没有选择题，全部是问答题，请大家认真复习。考试内容不会超出教材知识范围，请大家按照老师已经发布的教材PDF进行复习（可以到班级网站“下载专区”下载教材PDFhttps://dblab.xmu.edu.cn/post/1090）。
下面就期末考试做几点说明：
（1）考试坚决杜绝作弊，老师和助教会严格执行考场纪律。请大家一定不要携带复习资料开始考试，特别是，现在的智能手机都可以保存课件PPT，请大家务必保持关机状态，考试中途不准看手机，看时间也不行，考试时间非常充沛，而且老师也会提醒时间，同学们也可以主动问老师时间。作弊一定不及格。
（2）老师采用“匿名”方式批改试卷，改卷时看不到试卷上同学的名字，确保改卷过程公平公正，所以，请大家一定把名字写在装订线以内，答题区域不准出现个人信息。
（3）考试成绩发布时，试卷肯定已经提交给教学秘书，如果对分数有疑问，请一定“不要”直接向老师询问（因为如果只是问我，试卷已经提交给学院，我没办法让你亲眼看到试卷批改结果，还是无法消除同学的疑问的），请按照学校规定的流程，找教学秘书核查试卷。老师对试卷分数统计和录入非常认真（大家应该能够了解我的做事风格），会前后仔细核对3遍以上，助教也会帮助核对，所以，基本上不会出现分数统计错误或录入错误。
最后，祝大家考试顺利，只要认真听课，认真复习，取得好成绩是不难的！
47 2013年12月21日 期末考试复习范围正式发布，已经发送电子邮件给同学们，请大家根据复习范围认真做好期末复习工作。复习任务较重，请大家抓紧时间复习。
48 2013年12月23日 本周六（12月28日）下午567节，主要内容是进行期中作业答辩，同时，老师会让助教顺便介绍找工作体会。助教赖明星同学今年拿到了“网易游戏”的OFFER，相信他的找工作经历会让大家有所收获！这堂课上，老师会用单反相机为同学们采集一些课堂照片，保存大家研究生时代的美好记忆。
49 2013年12月28日 （1）期中作业答辩顺利结束，本学期最后一次课程结束。
（2）班级合影和今日课堂照片发布，请到班级相册下载。
（3）2014年1月4日（周六）下午2点30分在厦大曾厝垵学生公寓教学楼205教室举行期末考试。
50 2014年1月4日 期末考试顺利结束，老师开始批改考卷，请同学们等待成绩发布，需要一周多时间才能发布成绩。期末开始现场照片已经放入班级相册。
51 2014年1月11日 期末考试成绩正式发布，请大家到研究生院网站查询！

重要资源

研究生教学秘书汤美榕老师联系方式：  电话：0592-2580023  E-mail:tmr@xmu.edu.cn

厦门大学校区平面图 厦门大学2013-2014学年校历 厦门市三维电子地图
林子雨制作的《图片厦门》 林子雨制作的《图片厦大》 林子雨撰写的《厦门三日游安排》
林子雨报告《论文是怎样炼成的》 厦门智能交通手机客户端下载

课程进度表

（蓝色表示未完成，绿色表示已完成，红色表示假期不上课，点击这里查看“厦门大学2013-2014学年校历”）

第1周 第2周 第3周 第4周 第5周 第6周 第7周 第8周 第9周 第10周 第11周 第12周 第13周 第14周 第15周 第16周
教育周 9月28日 10月5日 10月7日 10月19日 10月26日 11月2日 11月9日 11月16日 11月23日 11月30日 12月7日 12月14日 12月21日 12月28日 1月4日

每周课堂内容

教学周 日期 上课内容
第1周 2012.09.15-21 研究生新生入学教育周，不上课
第2周 2012年9月28日 课程介绍，布置期中作业，激励同学研究生三年做好学习计划，努力学习
第3周 2013年10月5日 第1章大数据概述
第4周 2013年10月7日 第2章大数据关键技术与挑战，讲完了大数据处理基本流程和大数据处理模型
第5周 2013年10月19日 讲完第2章大数据关键技术与挑战，讲完第3章Hadoop
第6周 2013年10月26日 讲完第4章MapReduce
第7周 2013年11月2日 学校运动会，本周停课一次
第8周 2013年11月9日 讲完第5章HDFS和第6章Zookeeper
第9周 2013年11月16日 讲完第7章HBase
第10周 2013年11月23日 讲完第8章流计算，公务员生活
第11周 2013年11月30日 讲完第9章图计算
第12周 2013年12月7日 讲完第10章NoSQL数据库和第11章云数据库
第13周 2013年12月14日 上课教室被四六级考试占用，周末期间调课和教室申请手续无法办理，经过努力无法申请到周日的教室，所以取消周六下午课程。同学们自学本章节内容。
第14周 2013年12月21日 讲完第13章Google Dremel
第15周 2013年12月28日 举行了期中作业答辩，班级合影，助教与大家分享找工作经验
第16周 2014年1月4日 期末考试

推荐阅读

序号 题目 来源
1 《Google Spanner （中文版）》 林子雨2012年9月翻译
2 《Google Bigtable (中文版)》 林子雨2010年7月翻译
3 《第5届超大数据库会议XLDB2011大会报告(中文版)》 林子雨2012年5月翻译
4 《全球级的分布式数据库Google Spanner原理》 EMC公司.颜开撰写的网文
4 《Hadoop Summit 2013见闻》 2013年6月27日网络文章
5 《Hadoop分布式文件系统：架构和设计要点》 2008年6月网络文章
6 《Hadoop实战入门手册》 2011年7月网络资料
7 《流计算：即时信息（入门级）》 2008年12月网络资料
8 《Yahoo! 流计算框架S4（介绍篇）》 2012年12月网络资料
9 《什么是流计算》 2009年1月网络资料
10 《IBM大数据平台简介》 2013年3月网络资料
11 《开放实时数据处理平台Twitter Storm》 网络资料
12 《MIT公开课视频》 包括上百门大学课程
13 《Architecture of a database system（英文版）》《Architecture of a database system（中文版）》 Michael Stonebraker经典论文，2013年9月到11月林子雨老师团队翻译成中文版
14 《浅谈实时数据流计算》 2012年8月网络资料
15 《基于IBM InfoSphere Streams平台高性能流计算应用的构建》 2012年8月网络资料
16 《“NoHadoop”？——新一代海量数据架构分析》 2010年10月网络资料
17 《那些年Google公开的大数据领域论文》 2013年2月网络资料
18 《李开复：用大数据技术抓造谣传谣者》 2013年8月李开复的新浪微博
19 《大数据管理：概念、技术与挑战》 来自百度文库，中国人民大学孟小峰团队作品
20 《韩冀中：大数据存储与处理》 中科院韩冀中报告PPT
21 《数据库分区实例演示》 2012年6月网络资料
22 《年度专题：2011大数据技术与产品回顾》 网络资料
23 《Beyond MapReduce：图计算框架概览》 2012年4月网络资料
24 《Pregel: A System for Large-Scale Graph Processing》 SIGMOD2010大会英文论文
25 《在Hadoop上运行SQL：程序员需知晓的13种数据工具》 CSDN资料
26 《SQL on Hadoop》 2013年9月网络微博资料
27 《上海推进大数据研究与发展三年行动计划（2013-2015年）》 2013年7月网络资料
28 《Hadoop之父Doug Cutting》 《程序员》杂志2013年第4期
29 《BBC:地平线，大数据时代》 BBC制作的大数据应用宣传片
30 《2013大数据全球技术峰会PPT》 2013年4月网络资料
31 《Percolator：大数据集增量更新系统》 2010年10月网络资料
32 《Google Dremel原理– 如何能3秒分析1PB》 2013年4月，颜开的博客
33 《Google Dremel论文翻译导读》 2013年2月网络资料
34 《Hadoop新MapReduce框架Yarn详解》 2013年1月网络资料
35 《十个最有用的云数据库》 2012年12月网络资料

记事表

序号 时间 事情
1 2013年7月4日 班级网页开通，老师开始备课
2 2013年8月20日 老师和助教开始设计课程期中作业
3 2013年9月20日 老师和助教顺利完成期中作业设计工作
4 2013年9月29日 班级团队组建完成，每个团队为荣誉而战，合作完成期中作业
5 2013年10月30日 11月2日（周六）班级五缘湾活动名单产生：刘晓娟（女）、李金金（女）、陈日伟（男）、李培（男）。
6 2013年11月2日 五缘湾师生游活动顺利举行，请点击这里访问活动报道和照片。参加本次活动的人员包括：林子雨老师和刘晓娟（女）、李金金（女）、陈日伟（男）、李培（男）等四位同学。
7 2013年11月24日 顺利完成期中作业提交工作，班级全部团队都按时提交了期中作业。
8 2013年12月18日 《大数据技术基础》教材PDF完整版正式发布，供同学们期末复习。
9 2013年12月21日 确定期末考试时间和教室：2014年1月4日（周六）下午2点30分，厦大曾厝垵学生公寓教学楼205教室。
10 2013年12月21日 期末考试复习范围正式发布，通过电子邮件发送给同学们。
11 2013年12月28日 举行了期中作业答辩，老师和每个团队合影，班级合影。
12 2014年1月4日 期末考试
13 2014年1月11日 期末考试成绩发布

下载专区

资料下载

序号 下载文件 文件说明
1 《Hadoop实战》 来自网络，介绍了Hadoop项目、体系结构、分布式开发、计算模型和数据管理，班级FTP提供下载
2 《Hadoop权威指南中文版》 文件较大，通过班级FTP下载，课堂上公布FTP账号和密码
3 《HBase实战（中文试读版）》 只有前2章内容，更多内容需要购买书籍，班级FTP提供下载
4 《期中作业说明》 详细说明了期中作业内容

课件下载

《大数据技术基础》(林子雨 编写)是中国高校第一本大数据技术方面的教程，可以作为计算机专业研究生《大数据技术基础》课程的参考教材，由林子雨对大量网络资料和相关书籍内容进行阅读整理后编写而成， 深入浅出全面介绍大数据相关知识，全书内容包括大数据概述、大数据关键技术与挑战、NoSQL数据库、云数据库、Google Spanner、Hadoop、HDFS、HBase、MapReduce、Zookeeper、流计算、图计算和Google Dremel等。

整本教材下载

（点击这里下载整本教材PDF，一个PDF文件包含所有章节内容）

分章节下载

章节 标题 内容摘要 教材PDF 讲义PPT
第1章 大数据概述 大数据概念、大数据的产生和应用、大数据作用、大数据与大规模数据、海量数据的差别、典型的大数据应用实例、从数据库到大数据、大数据与云计算、大数据与物联网、对大数据的错误认识、大数据技术、大数据存储和管理技术、大数据生态系统 下载 下载
第2章 大数据关键技术与挑战 大数据处理基本流程、大数据处理模型、大数据关键技术（文件系统、数据库系统、索引和查询技术、数据分析技术）、大数据处理工具、大数据时代面临的挑战（大数据集成、大数据分析、大数据隐私问题、大数据能耗问题、大数据处理与硬件的协同、大数据管理易用性问题、性能测试基准） 下载 下载
第3章 Hadoop Hadoop概述、Hadoop发展简史、Hadoop的功能与作用、为什么不用关系型数据库管理系统、 Hadoop的优点、Hadoop的应用现状和发展趋势、Hadoop项目及其结构、Hadoop的体系结构、Hadoop与分布式开发、Hadoop应用案例、Hadoop平台上的海量数据排序 下载 下载
第4章 MapReduce 分布式并行编程：编程方式的变革、MapReduce模型概述、Map和Reduce函数、MapReduce工作流程、并行计算的实现、实例分析：WordCount、新MapReduce框架Yarn 下载 下载
第5章 HDFS HDFS的假设与目标、HDFS的相关概念、HDFS体系结构、HDFS命名空间、HDFS存储原理、通讯协议、数据错误与异常、从HDFS看分布式文件系统的设计需求 下载 下载
第6章 Zookeeper Zookeeper简介（系统架构、设计目的和特点）、Zookeeper的工作原理（选主流程、同步流程、工作流程）、Zookeeper的数据模型、Zookeeper的典型应用场景（统一命名服务、配置管理、集群管理、共享锁、队列管理） 下载 下载
第7章 HBase HBase简介、HBase使用场景和成功案例、HBase和传统关系数据库的对比分析、HBase访问接口、HBase数据模型、HBase系统架构、HBase存储格式、读写数据、MapReduce on HBase 下载 下载
第8章 流计算 流计算概述、流计算处理流程、流计算应用、流计算框架Storm 下载 下载
第9章 图计算 图计算简介、Google Pregel简介、Google Pregel图计算模型、Pregel的C++ API、Pregel模型的基本体系结构、Pregel模型的应用实例、改进的图计算模型 下载 下载
第10章 NoSQL数据库 NoSQL简介、NoSQL现状、为什么要使用NoSQL数据库、NoSQL数据库的特点、NoSQL的五大挑战、对NoSQL的质疑、NoSQL的三大基石、NoSQL数据库与关系数据库的比较、典型的NoSQL数据库分类、NoSQL数据库开源软件 下载 下载
第11章 云数据库 云数据库概述、云数据库的特性、云数据库是海量存储需求的必然选择、云数据库与传统的分布式数据库、云数据库的影响、云数据库产品 、数据模型、数据访问方法、编程模型 下载 下载
第12章 Google Spanner Spanner背景、与BigTable、Megastore的对比、Spanner的功能、体系结构、Spanserver、Directory、数据模型、TrueTime、Spanner的并发控制 下载 下载
第13章 Google Dremel Dremel概述、Dremel的数据模型、嵌套列式存储、查询语言、查询的执行 下载 下载

相册

活动专辑：2013年11月2日五缘湾师生游，只有少量照片放入了下面的班级相册，请点击这里访问该活动所有照片。