Hadoop大数据

课程简介

Hadoop大数据

主讲：向磊

大数据的发展将对人类社会政治、经济和文化等领域产生极大的影响。大数据课程历数了大数据的发展轨迹，以高屋建瓴的视角讲述了大数据的发展历程、特点、关键技术、主要应用案例以及相应的发展趋势。课程通过丰富的技术知识与应用案例的分享，以及对大数据浅显易懂的讲解分析，引导学员对大数据有一个更为清晰、准确的理解和认识。

《Hadoop大数据》课程作为大数据课程的一个分支，首先介绍Hadoop的发展历程、生态系统的特点和各自的应用场景、版本选择。其次分析了某些垂直行业对Hadoop的使用方式与效果。最后着重讲解了Hadoop的安装部署与运维的过程，分析过程中的典型问题，并详细介绍HDFS原理、Hive数据仓库以及Hadoop性能调优和工具。

一、课程体系结构

二、讲师介绍

    向磊：知名IT专家，Hadoop课程资深顾问，Easyhadoop开源社区创始人，国内大型企业Hadoop内训讲师，清华大学国际传播研究中心课题研究员，开源开放数据平台phpHiveAdmin作者，开源自动化部署监控工具EasyHadoop作者，中科普开hadoop资深顾问。先后为联通研究院、惠普、深圳证券交易所等单位做过大数据内训课程的授课。

三、课程介绍

Hadoop生态系统简介（第1-2节）

    本部分内容将围绕Hadoop的创立和历史沿革、Hadoop的基本概念、HDFS基础知识、Mapreduce基础知识、Hadoop生态系统等方面来介绍Hadoop生态系统的相关知识。目的是为了让学员了解并掌握Hadoop生态系统、应用环境及其解决方案。

Hadoop开源技术运用（第3-4节）

    本部分内容主要围绕大数据和数据仓库概述，Hadoop应用案例和云平台，Hadoop数据仓库最佳实践，数据可视化案例，基于数据仓库平台改造变迁等内容来介绍Hadoop开源技术的相关知识。目的是让学员了解并掌握Hadoop应用背景、Hadoop应用案例和技术最佳实践。

Hadoop部署及运维（第5-8节）  

    本部分内容主要介绍Hadoop分布式系统的基本运维知识、技能与常用工具。旨在让学员能够掌握Hadoop部署的相关操作和运维知识点。

深入理解HDFS（第9-10节）  

    本部分内容将围绕开发动机、设计原则、基础结构、数据损坏处理等内容来介绍HDFS的相关知识，旨在帮助学员了解并掌握HDFS和Map/Reduce的架构与原理。

海量数据处理—Hive数据仓库（第11-14节）

    本部分内容将围绕数据构建、使用方式、性能优化，如何做好HQL语言的调优和参数调优等方面来介绍Hive数据仓库的相关知识；旨在让学员能够了解并熟悉Hadoop自动化部署与运维的工具和原理。

性能优化及调度器（第15节） 

    本部分内容将围绕Codelevel优化、mapred-site.xml配置方法、FIFO等方面介绍Hadoop性能优化及调度器的相关知识，旨在帮助学员了解并掌握Hadoop性能优化及调度器的选择和使用方法。