课程简介

大数据分布式计算技术

主讲：董西成 

一、课程体系结构

二、讲师介绍

    董西成：知名Hadoop技术领域专家，曾担任上市公司项目负责人，全球500强企业项目核心研发人员，具有丰富的IT项目管理经验。出版Hadoop技术系列书籍有《Hadoop技术内幕：深入解析MapReduce架构设计与实现原理》和《Hadoop技术内幕：深入解析YARN架构设计与实现原理》。

三、课程介绍

MapReduce工作原理（第1-2节）

    MapReduce产生于Google的一篇论文，如今已经广泛地应用在互联网、证券、金融等领域，本部分内容从产生背景、编程模型、基本架构和常见应用场景等几个方面来介绍MapReduce，引导大家学习和了解MapReduce的一些基本概念和应用场景。

MapReduce安装部署 （第3-4节）

    MapReduce是一门应用性非常强的技术，本部分内容将介绍如何部署一个Hadoop集群，并对该集群进行参数调优。同时介绍了如何部署一个伪分布式模式和分布式模式下的Hadoop集群，并从普通用户和管理员两个角度讲解如何对集群的一些常见参数进行调优，主要细节划分有MapReduce的机构回顾和安装、MapReduce的作业参数调优和系统调优。目的在于让学员能够理解MapReduce的理论知识，并学以致用。

MapReduce使用及案例介绍（第5-6节） 

    MapReduce之所以应用如此广泛，原因之一在于它的易用性，它的出现使得分布式并行程序的开发门槛大大降低。本部分内容将以MapReduce编程模型为基础，介绍如何从头开发一个MapReduce应用程序。同时分别介绍了Java语言和多语言MapReduce程序设计方法，并讲解了如何测试、运行MapReduce应用程序。