深圳大數(shù)據(jù)開發(fā)培訓(xùn)課程

【課程內(nèi)容】Linux安裝使用、Linux文件系統(tǒng)、Linux用戶和進(jìn)程管理、 Shell和網(wǎng)絡(luò)基礎(chǔ)、git工具、 Linux小測驗(yàn)。

【課程目標(biāo)】掌握Linux使用方式和常見命令；熟悉Linux環(huán)境，包括shell和git使用

【課程內(nèi)容】Java簡介，包括跨平臺、虛擬機(jī)、JDK等、 Java編程基礎(chǔ)，函數(shù)、循環(huán)語句、變量等、Java高級特性，類、繼承、多態(tài)等、Java數(shù)據(jù)集合，包括List、Map、Set等介紹、自動化項(xiàng)目管理工具M(jìn)aven、 Java小測驗(yàn)。

【課程目標(biāo)】掌握J(rèn)ava基本語法，能夠使用Java編寫包含類、函數(shù)、循環(huán)等語言的代碼；熟悉Java編程環(huán)境，包括集成開發(fā)工具eclipse/IDEA，項(xiàng)目管理工具等

【課程內(nèi)容】分布式文件儲存系統(tǒng)HDFS進(jìn)階，分布式數(shù)據(jù)庫HBase進(jìn)階，分布式計(jì)算引擎MapReduce基礎(chǔ)與進(jìn)階，Zookeeper與YARN

【課程目標(biāo)】深度學(xué)習(xí)hadoop系統(tǒng)，包括高級特性，優(yōu)化等；增加hadoop大數(shù)據(jù)技術(shù)學(xué)習(xí)廣度，拓展眼界

【課程內(nèi)容】分布式計(jì)算框架Spark Core和Spark SQL進(jìn)階和調(diào)優(yōu)，函數(shù)式編程語言scala

【課程目標(biāo)】深度學(xué)習(xí)Spark系統(tǒng)，包括高級特性，優(yōu)化等，增加Spark大數(shù)據(jù)技術(shù)學(xué)習(xí)廣度，拓展眼界

【理論部分】大數(shù)據(jù)概論、 大數(shù)據(jù)技術(shù)體系（按照六層架構(gòu)介紹：數(shù)據(jù)收集、數(shù)據(jù)存儲、資源管理、計(jì)算引擎、數(shù)據(jù)分析以及可視化），Hadoop發(fā)展歷程、Hadoop生態(tài)系統(tǒng)概述/結(jié)構(gòu)化數(shù)據(jù)收集Sqoop：背景、架構(gòu)、原理以及使用 、非結(jié)構(gòu)化（日志）數(shù)據(jù)收集系統(tǒng)Flume：背景、架構(gòu)、原理及使用；

【實(shí)戰(zhàn)部分】利用Flume從指定目錄中收集數(shù)據(jù)到HDFS、利用Sqoop將MySQL表中數(shù)據(jù)寫HDFS。

【課程目標(biāo)】 掌握大數(shù)據(jù)收集系統(tǒng)架構(gòu)，能夠使用sqoop和flume構(gòu)建企業(yè)級大數(shù)據(jù)收集系統(tǒng)。

【理論部分】概述 、基本架構(gòu)與工作原理、應(yīng)用場景以及經(jīng)典的架構(gòu)組合等、HDFS簡介、優(yōu)缺點(diǎn)、架構(gòu)（主節(jié)點(diǎn)NameNode、從節(jié)點(diǎn)DataNode、journal node的解析） 、核心設(shè)計(jì)（數(shù)據(jù)塊、數(shù)據(jù)副本的存放策略、安全模式、負(fù)載均衡、機(jī)架感應(yīng)等）、HDFS操作（命令行接口、Java接口）

【實(shí)戰(zhàn)部分】搭建Kafka集群、如何編寫Producer將數(shù)據(jù)寫入Kafka、如何編寫Consumer從Kafka中讀取數(shù)據(jù)、搭建HDFS集群、使用NameNode Web UI、使用HDFS Shell利用Java編寫程序從HDFS中讀數(shù)據(jù)、利用Java編寫程序?qū)?shù)據(jù)寫入HDFS中、利用Java刪除HDFS上的文件和目錄

【理論部分】HBase簡介、優(yōu)缺點(diǎn)、架構(gòu)以及HBase API使用等

【實(shí)戰(zhàn)部分】搭建Hbase集群、使用Hbase Web UI、使用HBase Shell、利用Java編寫程序在hbase中創(chuàng)建表、利用Java編寫程序向hbase表中寫入和讀取數(shù)據(jù)

【項(xiàng)目案例】用戶畫像系統(tǒng)、網(wǎng)絡(luò)爬蟲

【課程目標(biāo)】掌握HBase系統(tǒng)架構(gòu)，能夠編寫程序讀寫 HBase中存儲的數(shù)據(jù) 。

【理論部分】Hive背景、架構(gòu)、 HQL的DML和DDL語法等

【實(shí)戰(zhàn)部分】Hive環(huán)境搭建、利用Hive創(chuàng)建表，并進(jìn)行查詢、Hive創(chuàng)建ORC與Parquet表并查詢

【課程目標(biāo)】熟練掌握HQL編寫方式，能夠使用Hive構(gòu)建大數(shù)據(jù)倉庫系統(tǒng)

【理論部分】Hive內(nèi)部原理，多計(jì)算引擎（Tez與Spark），Hive創(chuàng)建ORC/Parquet表，Hive調(diào)優(yōu)

【實(shí)戰(zhàn)部分】程序方式訪問Hive、Hive調(diào)優(yōu)演示

【課程目標(biāo)】掌握Hive內(nèi)部原理，了解常見Hive的優(yōu)化方式。

【理論部分】Presto基本架構(gòu)，Presto與Hive對比，Presto基本使用。

【實(shí)戰(zhàn)部分】Presto集群搭建、Presto使用方式、Presto與Hive性能對比

【項(xiàng)目測試練習(xí)】 Hadoop測試（包括選擇題、簡單題和編程題三部分）

【理論部分】Java Lambda語法簡介 、Spark基礎(chǔ)原理與運(yùn)行架構(gòu)、Spark部署方式

【實(shí)戰(zhàn)部分】Spark開發(fā)環(huán)境搭建、使用Spark Web UI、如何將Spark程序運(yùn)行到Y(jié)ARN上

【課程目標(biāo)】掌握Spark基本原理，能夠搭建Spark開發(fā)和運(yùn)行環(huán)境。

【理論部分】Spark編程模型、內(nèi)存彈性分布式數(shù)據(jù)集的工作原理和機(jī)制、Spark RDD transform、持久化、checkpoint、容錯與性能優(yōu)化

【實(shí)戰(zhàn)部分】如何利用intellij idea開發(fā)一個spark程序并運(yùn)行到集群中、如何利用spark設(shè)計(jì)電影受眾分析程序

【課程目標(biāo)】掌握常見的Spark API，熟練使用Spark開發(fā)大數(shù)據(jù)分析程序。

【理論部分】流式計(jì)算基礎(chǔ)、spark streaming基礎(chǔ)原理 、基礎(chǔ)API介紹（包括map，filter，flatMap、foreachRDD，saveAsTextFile等）和高級API介紹（window， transform和mapWithState），Redis介紹

【實(shí)戰(zhàn)部分】利用Spark Streaming讀取HDFS中的數(shù)據(jù)，經(jīng)統(tǒng)計(jì)（按照window統(tǒng)計(jì)）后寫入HDFS：利用Spark Streaming讀取HDFS中的數(shù)據(jù)，經(jīng)統(tǒng)計(jì)后寫入Redis和HBase：利用mapWithState實(shí)現(xiàn)wordcount

【課程目標(biāo)】掌握Spark Streaming工作原理及常見的API，能夠使用Spark Streaming編寫流式實(shí)時計(jì)算程序。

【理論部分】保存kafka offset并恢復(fù)、spark streaming容錯機(jī)制、spark streaming調(diào)優(yōu)方法、structured streaming原理及關(guān)鍵API

【實(shí)戰(zhàn)部分】利用Spark Streaming+kafka+redis實(shí)現(xiàn)“用戶手機(jī)app行為分析系統(tǒng)”、實(shí)現(xiàn)streuctured streaming版本的wordcount

【課程目標(biāo)】掌握Spark Streaming調(diào)優(yōu)方法和高級編程技巧，能夠使用高級API編寫更加魯棒的分布式流式計(jì)算程序。

【理論部分】數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)基礎(chǔ)知識，以及機(jī)器學(xué)習(xí)案例、Spark MLib分類、聚類、推薦等算法，用戶畫像系統(tǒng)設(shè)計(jì)。

【實(shí)戰(zhàn)部分】回歸預(yù)測和局部加權(quán)線性回歸預(yù)測算法、近鄰KNN預(yù)測分析的算法、協(xié)同過濾算法的Spark實(shí)現(xiàn)技術(shù)應(yīng)用、決策樹分類分析挖掘算法、邏輯回歸分類分析挖掘算法、貝葉斯分類分析挖掘算法等，互聯(lián)網(wǎng)用戶性別預(yù)測。

【課程目標(biāo)】掌握常見的機(jī)器學(xué)習(xí)算法，能夠使用Spark MLLib工具包解決機(jī)器學(xué)習(xí)問題。

【理論部分】人工智能技術(shù)體系 ; 人工智能技術(shù)的數(shù)學(xué)與python基礎(chǔ) ; 神經(jīng)網(wǎng)絡(luò)（DNN,RNN及CNN等）和開源框架tensorflow及pytorch等

【實(shí)戰(zhàn)部分】電影評論文本情感分析（監(jiān)督學(xué)習(xí)，可應(yīng)用在：各種評論文本的正負(fù)情感分類， 新聞的正負(fù)情感分類）; 電信客戶流失預(yù)測（監(jiān)督學(xué)習(xí)， 可應(yīng)用在：股價(jià)預(yù)測、流量預(yù)測，房價(jià)預(yù)測等方面中）; 基于深度學(xué)習(xí)的手寫字體識別

【課程目標(biāo)】掌握人工智能技術(shù)基礎(chǔ)，包括數(shù)學(xué)與python技術(shù)，了解神經(jīng)網(wǎng)絡(luò)技術(shù)及開源框架tensorfow、pytorch等。

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié)。 講解主要架構(gòu)：Kafka+Spark Streaming+Mysql

【課程目標(biāo)】掌握大數(shù)據(jù)流式系統(tǒng)基本架構(gòu) ; 學(xué)會使用kafka和spark streaming構(gòu)建流式計(jì)算系統(tǒng) ; 熟練掌握使用spark streaming編寫魯棒的流式處理程序

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解 ; 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié); 講解主要架構(gòu)：HDFS + Spark Core + mllib

【課程目標(biāo)】熟悉機(jī)器學(xué)習(xí)應(yīng)用 ; 熟悉如何使用HDFS和Spark解決實(shí)際問題

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié)。 講解主要架構(gòu)：hadoop+kafka+spark+presto/hive+echart/D3

【課程目標(biāo)】了解日志分析系統(tǒng)的基本架構(gòu) ; 熟練掌握如何采用hadoop和spark解決大數(shù)據(jù)分析問題 ; 使用常見的開源可視化工具對分析結(jié)果可視化

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié)。 用戶畫像系統(tǒng)常見場景簡介。 講解主要架構(gòu)：flume+hbase+spark+redis+mllib

【課程目標(biāo)】掌握用戶畫像系統(tǒng)基本架構(gòu) ； 熟練使用HBase存儲海量結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù) ； 熟練使用mllib求解機(jī)器學(xué)習(xí)問題

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié)。 講解主要架構(gòu)：HDFS + HBase + Spark SQL + Spark Streaming

【課程目標(biāo)】掌握大數(shù)據(jù)設(shè)計(jì)架構(gòu)lambda architecture；學(xué)會使用Hadoop和Spark技術(shù)解決復(fù)雜大數(shù)據(jù)問題

【實(shí)戰(zhàn)部分】項(xiàng)目背景、開發(fā)需求、 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 項(xiàng)目架構(gòu)、核心點(diǎn)講解； 數(shù)據(jù)展示、共性問題答疑 、項(xiàng)目總結(jié)。 講解主要架構(gòu)：Hadoop + Hive + Presto + superset/tableau

【課程目標(biāo)】掌握大數(shù)據(jù)報(bào)表系統(tǒng)基本架構(gòu)設(shè)計(jì)方法；學(xué)會使用Hadoop和Spark技術(shù)解決復(fù)雜大數(shù)據(jù)報(bào)表分析及可視化問題。

【課程目標(biāo)】公司大數(shù)據(jù)崗位核心技能需求。了解所需知識和技能，以及主流的大數(shù)據(jù)工具和框架的使用方法。 講解大數(shù)據(jù)開發(fā)工程師崗位面試的常見筆試題。會涵蓋主流的互聯(lián)網(wǎng)公司的面試題 目，深入淺出，結(jié)合實(shí)際場景分析。 講解常大數(shù)據(jù)研發(fā)面試問題，開放式問題和系統(tǒng)設(shè)計(jì)問題，融匯貫通整個課程知識點(diǎn)。