南京大數(shù)據(jù)工程師

萬和大數(shù)據(jù)課程體系

課程設置無縫對接企業(yè)用人需求，萬和四個月，勝讀四年書

大數(shù)據(jù)基礎

大數(shù)據(jù)基礎

1.什么是大數(shù)據(jù)？-大數(shù)據(jù)概念； 2.大數(shù)據(jù)主要分類類型； 3.大數(shù)據(jù)和普通數(shù)據(jù)的區(qū)別；

大數(shù)據(jù)現(xiàn)狀

1.現(xiàn)有企業(yè)應用場景； 2.大數(shù)據(jù)生態(tài)圈介紹；

群組討論

1."自我定義的大數(shù)據(jù)"-群組討論； 2.學員技能摸底，情況歸檔；

Linux基礎

Linux基本命令解析

1.熟悉Linux歷史背景； 2.了解Linux基本命令；

虛擬機-Centos安裝

1.安裝虛擬機； 2.安裝Mvn，Jdk等工具

Zookeeper

Zookeeper熟悉和用途綜述

1.Z****eper介紹 2.Z****eper基礎知識 3.體系結構 4.數(shù)據(jù)模型

Zookeeper環(huán)境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Zookeeper開發(fā)

1.*****es、Node詳解 2.*PI介紹 3.**va Client開發(fā) 4.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

Zookeeper集群搭建、 命令行Client操作

1.Z****eper 節(jié)點類型與體系結構 2.Z****eper Watch 3.Z****eper 與 HBase 的關系 4.Z****eper 更新Server 實例實現(xiàn) 5.Z****eper 分布式鎖

Hbase數(shù)據(jù)庫

Hbase熟悉和用途綜述

1.***se介紹 2.***se基礎知識 3.體系結構 4.數(shù)據(jù)模型

Hbase環(huán)境搭建

1.集群搭建和測試 2.命令行客戶端操作 3.**at

Hbase開發(fā)

1.***se增刪改查 2.***se的基礎get，scanner等命令

Hadoop

hadoop的前世今生

1.大數(shù)據(jù)背景及hadoop出現(xiàn)的契機 2.****op概述 3.****op生態(tài)系統(tǒng) 4.****op分布式文件系統(tǒng)HDFS 5.****op計算框架MapReduce 6.****op版本發(fā)展歷史 7.****op行業(yè)應用案例分析 8.****op與云計算和大數(shù)據(jù)的關系

hadoop的前世今生

1.****op 核心組件簡單介紹 2.****op 部署角色簡單介紹 3.****op 試驗集群的部署結構 4.****op 安裝依賴關系 5.****op 生產環(huán)境的部署結構 6.****op 集群部署 7.****op 高可用配置方法 8.****op 集群簡單測試方法 9.****op 集群異常debug方法

hadoop YARN架構設計和核心概念

1.**RN的出現(xiàn)的背景 2.**RN的設計思想和背景 3.**RN的基礎架構 4.**RN的工作流程 5.**RN的基礎類庫詳解 6.**RN的核心模塊ApplicationMaster詳解 7.**RN的核心模塊ResourseManager剖析 8.**RN的核心模塊NodeManager詳解 9.**RN 資源調度器詳細介紹

Spark

Spark的發(fā)展歷程

1.大數(shù)據(jù)背景及sPARK出現(xiàn)的契機 2.***rk概述 3.***rk生態(tài)系統(tǒng) 4.***rk核心組件原理和架構 5.***rk分布式文件系統(tǒng)HDFS 6.***rk計算核心算法 7.***rk部署角色 8.***rk版本發(fā)展歷史 9.***rk行業(yè)應用案例分析

安裝Spark

1.***rk 核心組件簡單介紹 2.***rk 部署角色簡單介紹 3.***rk 試驗集群的部署結構 4.***rk 安裝依賴關系 5.***rk 生產環(huán)境的部署結構 6.***rk 集群部署 7.***rk 高可用配置方法 8.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

Spark 部署模式剖析

1.***rk的工作流程 2.***rk的多種調度模式區(qū)別 3.***rk的調度通信機制

Spark 高級編程,Spark Streaming高級編程

1.***rk 核心API介紹 2.****le 算法介紹 3.***rk異常回滾機制介紹 4.***rk Sql剖析 5.***rk Streaming剖析 6.***rk RDD剖析 7.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

Spark 及Spring搭配

1.***rk和Spring集成 2.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

Spark編程模型及調優(yōu)

1.***rk編程模型及調優(yōu) 2.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

storm

Storm基礎知識

1.包括storm基本概念 2.***rm應用場景 3.應用現(xiàn)狀和發(fā)展趨勢 4.***rm與hadoop的區(qū)別

Storm的架構與原理

1.****us進程與Supervisor進程 2.***rm集群環(huán)境搭建 3.z****eper集群的搭建 4.***rm配置文件配置項講解 5.***rm常用組件和編程API 6.******gy、Spout、Bolt、Storm分組策略 7.（Stream Groupings） 8.***rm項目maven環(huán)境的搭建 9.實戰(zhàn)內容（現(xiàn)場實驗環(huán)節(jié)）

storm可靠性機制

1.消息處理的含義 2.***rm的ack/fail機制 3.***rm如何保證可靠性 4.***rm如何實現(xiàn)可靠性

storm高并發(fā)策略

1.工作進程、執(zhí)行器與任務的區(qū)別 2.配置topology的并行度 3.******gy實例 4.如何改變運行中topology的并行度

流分組

1.什么是流分組 2.6種不同的流分組方式

組件詳解

1.基本接口:IComponent接口、ISpout接口、IBolt接口、IRichSpout接口、IRichBolt接口、IBasicBolt接口、IStateSpout、IRichStateSpout接口 2.基本抽象類:BaseComponent抽象類、BaseRichSpout抽象類、BaseRichBolt抽象類、BaseBasicBolt抽象類

storm批處理事務處理

1.***rm批處理詳解 2.***rm事務工作原理深入講解 3.***rm事務相關API詳解 4.***rm事務案例分析 5.***rm分區(qū)事務與不透明分區(qū)事務

Kafka

kafka概述

1.***ka是什么:kafka概念詳解：Topics/logs、Distributitions、Producers、Consumers、Guarantees。 2.***ka的應用場景 3.***ka的體系架構與設計原理

kafka的安裝部署

1.***ka集群環(huán)境的搭建 2.***ka配置項的配置與講解 3.分布與訂閱的原理 4.分布與訂閱的接口

kafka使用zookeeper進行協(xié)調管理

1.z****eper在kafka中的作用 2.z****eper如何進行協(xié)調管理