課程簡介
互聯(lián)網企業(yè)和云計算服務企業(yè)每天都會產生大量的數據并面臨高并發(fā)的嚴峻考驗,傳統(tǒng)的關系型數據庫已經無法滿足大數據量高并發(fā)的要求,何以解憂?Hadoop!本課程針對Hadoop大數據處理技術的項目實戰(zhàn)需求,有針對性設計;以幫助學員實現基于Hadoop的應用開發(fā)。
課程目標
- 全面掌握Hadoop的架構原理和使用場景;
- 全程項目實戰(zhàn)訓練;
- 徹底掌握使用Hadoop進行MapReduce程序開發(fā);
- 熟悉分布式計算領域的常用算法;
課程綱要
- 第 一講 由案例引入Hadoop技術
-
- 案例背景
- 案例功能模塊簡介
- 數據導入:Flume
- 數據分析
- Hadoop MapReduce
- Hadoop MapReduce Streaming編程
- MapReduce分布式程序
- Hadoop 核心代碼剖析
- HDFS分布式文件系統(tǒng)編程
- 第二講 Hadoop Mapreduce高級編程
-
- ToolRunner介紹
- 使用MRUnit進行測試
- 利用Combiners來減少中間數據
- 使用Configure和Close方法來進行Map/Reduce設置和關閉
- 編寫Partitioner來優(yōu)化負載平衡
- 直接訪問Hadoop分布式文件系統(tǒng)(HDFS)
- 使用分布式緩存(Distributed Cache)
- 第三講 MapReduce的優(yōu)化
-
- map優(yōu)化
- reduce優(yōu)化
- 小文件優(yōu)化
- 第四講 MapReduce的任務調度
- Queue調度的使用
- 公平調度的使用
- 能力調度的使用
- 第五講 MapReduce編程實戰(zhàn)
-
- Hadoop的join操作
- Hadoop的二次排序
- Hadoop的海量日志分析
- 第六講 flume+hadoop日志收集實戰(zhàn)
- flume核心組件講解
- flume自帶的組件分析
- flume二次開發(fā)實戰(zhàn)
- 第七講 用戶行為分析系統(tǒng)案例解析與技術分享
- 第八講 CDR詳單系統(tǒng)案例解析與技術分享
開設班級
班級 | 開班時間 | 上課地點 | 學費 | 試聽/報名 |
---|---|---|---|---|
中軟大廈校區(qū)/ 面授 | 滾動開班 | 北京海淀北京市海淀區(qū)學院南路55號中軟大廈B座 | 咨詢 | 報名 |
更新時間:2023-06-09