大數(shù)據(jù)概述、分布式數(shù)據(jù)收集系統(tǒng)：Sqoop與Flume
【理論部分】大數(shù)據(jù)概論、 大數(shù)據(jù)技術體系（按照六層架構介紹：數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理、計算引擎、數(shù)據(jù)分析以及可視化），Hadoop發(fā)展歷程、Hadoop生態(tài)系統(tǒng)概述/結構化數(shù)據(jù)收集Sqoop：背景、架構、原理以及使用 、非結構化（日志）數(shù)據(jù)收集系統(tǒng)Flume：背景、架構、原理及使用；
【實戰(zhàn)部分】利用Flume從指定目錄中收集數(shù)據(jù)到HDFS、利用Sqoop將MySQL表中數(shù)據(jù)寫HDFS。
【課程目標】 掌握大數(shù)據(jù)收集系統(tǒng)架構，能夠使用sqoop和flume構建企業(yè)級大數(shù)據(jù)收集系統(tǒng)。
分布式消息隊列：Kafka、分布式存儲系統(tǒng)：文件系統(tǒng)HDFS
【理論部分】概述 、基本架構與工作原理、應用場景以及經(jīng)典的架構組合等、HDFS簡介、優(yōu)缺點、架構（主節(jié)點NameNode、從節(jié)點DataNode、journal node的解析） 、核心設計（數(shù)據(jù)塊、數(shù)據(jù)副本的存放策略、安全模式、負載均衡、機架感應等）、HDFS操作（命令行接口、Java接口）
【實戰(zhàn)部分】搭建Kafka集群、如何編寫Producer將數(shù)據(jù)寫入Kafka、如何編寫Consumer從Kafka中讀取數(shù)據(jù)、搭建HDFS集群、使用NameNode Web UI、使用HDFS Shell利用Java編寫程序從HDFS中讀數(shù)據(jù)、利用Java編寫程序將數(shù)據(jù)寫入HDFS中、利用Java刪除HDFS上的文件和目錄
分布式存儲系統(tǒng)：分布式數(shù)據(jù)庫HBase
【理論部分】HBase簡介、優(yōu)缺點、架構以及HBase API使用等
【實戰(zhàn)部分】搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java編寫程序在hbase中創(chuàng)建表、利用Java編寫程序向hbase表中寫入和讀取數(shù)據(jù)
【項目案例】用戶畫像系統(tǒng)、網(wǎng)絡爬蟲
【課程目標】掌握HBase系統(tǒng)架構，能夠編寫程序讀寫 HBase中存儲的數(shù)據(jù) 。
分布式分析引擎：Hive基礎
【理論部分】Hive背景、架構、 HQL的DML和DDL語法等
【實戰(zhàn)部分】Hive環(huán)境搭建、利用Hive創(chuàng)建表，并進行查詢、Hive創(chuàng)建ORC與Parquet表并查詢
【課程目標】熟練掌握HQL編寫方式，能夠使用Hive構建大數(shù)據(jù)倉庫系統(tǒng)
分布式分析引擎：Hive進階
【理論部分】Hive內(nèi)部原理，多計算引擎（Tez與Spark），Hive創(chuàng)建ORC/Parquet表，Hive調優(yōu)
【實戰(zhàn)部分】程序方式訪問Hive、Hive調優(yōu)演示
【課程目標】掌握Hive內(nèi)部原理，了解常見Hive的優(yōu)化方式。
10-交互式查詢引擎Presto
【理論部分】Presto基本架構，Presto與Hive對比，Presto基本使用。
【實戰(zhàn)部分】Presto集群搭建、Presto使用方式、Presto與Hive性能對比
【項目測試練習】 Hadoop測試（包括選擇題、簡單題和編程題三部分） |
合作伙伴與授權機構
shuhaipeixun
1299983702
總部李老師
