課程主題 |
主要內容 |
案例和演示 |
Hadoop的來源和動機 |
傳統大規模系統存在的問題
Hadoop概述
Hadoop分布式文件系統??????
MapReduce工作原理????????
Hadoop集群剖析?????????? ?
?Hadoop生態系統對一種新的解決方案的需求
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系 |
數據開放,數據云服務平臺(DAAS)時代
Hadoop平臺在數據云平臺(DAAS)上的天然優勢
數據云平臺(DAAS?平臺)組成部分
互聯網公共數據大云(DAAS)案例
Hadoop構建構建游戲云(Web Game Daas)平臺 |
Hadoop生態系統介紹和演示 |
Hadoop HDFS?和?MapReduce
Hadoop數據庫之HBase
Hadoop數據倉庫之Hive
Hadoop數據處理腳本Pig
Hadoop數據接口Sqoop和Flume，Scribe DataX
Hadoop工作流引擎?Oozie |
運用Hadoop自下而上構建大規模企業數據倉庫
暴風影音數據倉庫實戰解析 |
Hadoop組件詳解 |
Hadoop HDFS?基本結構
Hadoop HDFS?副本存放策略
Hadoop NameNode?詳解
Hadoop SecondaryNameNode?詳解
Hadoop DataNode?詳解
Hadoop JobTracker?詳解
Hadoop TaskTracker?詳解 |
Hadoop Mapper類核心代碼
Hadoop Reduce類核心代碼
Hadoop?核心代碼 |
Hadoop安裝和部署 |
Hadoop系統模塊組件概述
Hadoop試驗集群的部署結構
Hadoop?安裝依賴關系
Hadoop?生產環境的部署結構
Hadoop集群部署
Hadoop?高可用配置方法
Hadoop?集群簡單測試方法
Hadoop?集群異常Debug方法
? |
Hadoop安裝部署實驗
Red hat Linux基礎環境搭建
Hadoop?單機系統版本安裝配置
Hadoop?集群系統版本安裝和啟動配置
使用?Hadoop MapReduce Streaming快速測試系統
Hadoopcore-site，hdfs-site，mapred-site?配置詳解 |
Hadoop集群規劃 |
Hadoop?集群內存要求
Hadoop集群磁盤分區
集群和網絡拓撲要求
集群軟件的端口配置 |
針對NameNode Jobtracker DataNode TaskTracker Hiveserver?等不同組件需求推薦服務器配置 |
MapReduce?算法原理 |
Hadoop MapReduce?算法的原理和優化思想
靈活運用MapReduce?實現算法 |
運用MapReduce?構建數據庫算法
Select Sort GrougBy Sum Count
Join?新進流失算法
使用?Y-Smart?快速轉換SQL為MapReduce?代碼 |
編寫MapReduce高級程序 |
使用?Hadoop MapReduce Streaming?編程
MapReduce流程??????????
剖析一個MapReduce程序
基本MapReduceAPI?概念??
驅動代碼?Mapper、Reducer
Hadoop流
API?使用Eclipse進行快速開發???????????????
新MapReduce API
MapReduce的優化
MapReduce的任務調度
MapReduce編程實戰
如何利用其他Hadoop相關技術，包括Apache Hive，?Apache Pig，Sqoop和Oozie等
滿足解決實際數據分析問題的高級Hadoop API |
Hadoop Streaming?和?Java MapReduce Api?差異。
?MapReduce?實現數據庫功能
利用Combiners來減少中間數據
編寫Partitioner來優化負載平衡
直接訪問Hadoop分布式文件系統（HDFS）
Hadoop的join操作
輔助排序在Reducer方的合并
定制Writables和WritableComparables
使用SequenceFiles和Avro文件保存二進制數據
創建InputFormats OutputFormats
Hadoop的二次排序
Hadoop的海量日志分析 |
合作伙伴與授權機構
shuhaipeixun
1299983702
總部李老師
