大數據分析（Hadoop）與云計算實踐培訓班的通知
講(jiang)師：錢興會 朱(zhu)永(yong)春(chun) 瀏覽(lan)次數：2610
課程描述INTRODUCTION
大數據與云計算培訓
培訓講師：
課程價格：
培訓天數：日(ri)程安排SCHEDULE
課程大綱Syllabus
大數據(ju)與(yu)云計算培訓
一、課程目標
二、培訓師資
錢(qian)興會(hui) 大(da)數(shu)據(ju)專(zhuan)家(jia)(jia)。在電信、電力、金(jin)融行(xing)業(ye)(ye)從(cong)事Java開發和(he)架(jia)構(gou)(gou)設(she)(she)計(ji)(ji)的(de)(de)工作；資深云計(ji)(ji)算(suan)研發工程(cheng)師。作為項目(mu)的(de)(de)主(zhu)要(yao)成(cheng)員(yuan)(yuan)和(he)負責人(ren)參與(yu)(yu)并(bing)(bing)領導完(wan)(wan)成(cheng)了多(duo)個大(da)型(xing)復(fu)雜(za)項目(mu)，并(bing)(bing)成(cheng)功應(ying)用(yong)(yong)(yong)于行(xing)業(ye)(ye)解決(jue)方案，如海(hai)量數(shu)據(ju)匹配系(xi)(xi)統(tong)、電力行(xing)業(ye)(ye)實(shi)時數(shu)據(ju)采集分(fen)析系(xi)(xi)統(tong)等(deng)。設(she)(she)計(ji)(ji)并(bing)(bing)實(shi)現了實(shi)時索引系(xi)(xi)統(tong)-云搜，成(cheng)功應(ying)用(yong)(yong)(yong)與(yu)(yu)某國企(qi)知(zhi)識庫系(xi)(xi)統(tong)。并(bing)(bing)可應(ying)用(yong)(yong)(yong)與(yu)(yu)互聯(lian)網(wang)行(xing)業(ye)(ye)的(de)(de)搜索等(deng)應(ying)用(yong)(yong)(yong)。完(wan)(wan)成(cheng)多(duo)個云計(ji)(ji)算(suan)解決(jue)方案的(de)(de)架(jia)構(gou)(gou)，涉及到金(jin)融韓行(xing)業(ye)(ye)海(hai)量數(shu)據(ju)分(fen)析與(yu)(yu)數(shu)據(ju)處理(li)(li)(li)系(xi)(xi)統(tong)、海(hai)量日志分(fen)析系(xi)(xi)統(tong)、電力用(yong)(yong)(yong)電信息統(tong)計(ji)(ji)系(xi)(xi)統(tong)等(deng)，獲得業(ye)(ye)界認(ren)可。朱永春 十(shi)余(yu)年IT行(xing)業(ye)(ye)經驗，IBM企(qi)業(ye)(ye)數(shu)據(ju)分(fen)析與(yu)(yu)大(da)數(shu)據(ju)專(zhuan)家(jia)(jia)，數(shu)據(ju)中(zhong)心系(xi)(xi)統(tong)架(jia)構(gou)(gou)設(she)(she)計(ji)(ji)，性(xing)能管理(li)(li)(li)與(yu)(yu)容(rong)(rong)量評(ping)(ping)估專(zhuan)家(jia)(jia)，主(zhu)要(yao)專(zhuan)業(ye)(ye)特長包(bao)括基(ji)礎架(jia)構(gou)(gou)云平臺設(she)(she)計(ji)(ji)、服務器及存儲(chu)虛擬(ni)化、數(shu)據(ju)庫優化、性(xing)能管理(li)(li)(li)、容(rong)(rong)量評(ping)(ping)估等(deng)領域。具有豐富的(de)(de)教學和(he)實(shi)踐經驗，對IT職業(ye)(ye)培訓有深刻(ke)的(de)(de)理(li)(li)(li)解。曾參與(yu)(yu)多(duo)家(jia)(jia)大(da)型(xing)銀(yin)行(xing)系(xi)(xi)統(tong)架(jia)構(gou)(gou)設(she)(she)計(ji)(ji)，在高可用(yong)(yong)(yong)性(xing)高性(xing)能大(da)容(rong)(rong)量系(xi)(xi)統(tong)領域的(de)(de)虛擬(ni)化和(he)大(da)數(shu)據(ju)處理(li)(li)(li)有深入的(de)(de)研究，能夠(gou)結合實(shi)際,在復(fu)雜(za)的(de)(de)應(ying)用(yong)(yong)(yong)環境中(zhong)選擇適合的(de)(de)分(fen)析技(ji)術來降(jiang)低運維風險、縮短停(ting)機時間(jian)、提高系(xi)(xi)統(tong)及數(shu)據(ju)庫性(xing)能。多(duo)次全國巡講。授(shou)課過(guo)程(cheng)理(li)(li)(li)論與(yu)(yu)實(shi)踐并(bing)(bing)重，深入淺出，講課詼諧幽默、氣(qi)氛活躍，深受廣大(da)學員(yuan)(yuan)好評(ping)(ping)。
三、學習(xi)對象
軟件工程師、數據庫開發(fa)人(ren)(ren)員(yuan)、網絡后臺開發(fa)人(ren)(ren)員(yuan)、運維人(ren)(ren)員(yuan)；地(di)方政(zheng)府云(yun)(yun)計(ji)(ji)(ji)算(suan)物聯(lian)網產業(ye)負(fu)(fu)(fu)責(ze)人(ren)(ren)；各(ge)地(di)云(yun)(yun)計(ji)(ji)(ji)算(suan)中(zhong)心負(fu)(fu)(fu)責(ze)人(ren)(ren)；云(yun)(yun)計(ji)(ji)(ji)算(suan)物聯(lian)網產業(ye)規劃(hua)負(fu)(fu)(fu)責(ze)人(ren)(ren)；云(yun)(yun)計(ji)(ji)(ji)算(suan)產業(ye)投資(zi)團隊(dui)；云(yun)(yun)計(ji)(ji)(ji)算(suan)應用開發(fa)商；云(yun)(yun)計(ji)(ji)(ji)算(suan)硬件設備(bei)提供商；云(yun)(yun)服(fu)務運營服(fu)務提供商；高校、科研院(yuan)所云(yun)(yun)計(ji)(ji)(ji)算(suan)項(xiang)目負(fu)(fu)(fu)責(ze)人(ren)(ren)。
四、課程大綱
（第(di)一專題(ti)：大數據分析與Hadoop開(kai)發(fa)）
第一天
第1個主題：Hadoop的(de)來(lai)源(yuan)和動機
1.傳(chuan)統大規(gui)模系統存在的問題
2.對一種新(xin)的解(jie)決方案(an)的需求
3.Hadoop應用案例解(jie)析
4.Hadoop 版本介紹
5.Hadoop與傳統分布(bu)式環境的區別
第2個(ge)主題(ti)：Hadoop安裝和部署準備
1. Hadoop系統模塊(kuai)組件概(gai)述
2. Hadoop試驗集群的部署結構
3. Hadoop 安裝依賴(lai)關系(xi)
4. Hadoop 生產環境(jing)的部(bu)署結(jie)構
第(di)3個主題：Hadoop集群安裝和部署
第4個主題：Hadoop組件(jian)詳解
1. Hadoop HDFS 基本結構
2. Hadoop HDFS 副本存放策(ce)略
3. Hadoop NameNode 詳解
4. Hadoop SecondaryNameNode 詳解
5. Hadoop DataNode 詳解
6. Hadoop JobTracker 詳解(jie)
7. API 使用Eclipse進(jin)行快速開發
8. 新(xin)MapReduce API
第5個主題：Hadoop 核心代碼剖析
1.Hadoop Mapper 類核心(xin)代碼剖析
2.Hadoop Reducer 類核心代碼剖析
第(di)6個主題(ti)：HDFS分布式文件(jian)系(xi)統編程
1.Hadoop HDFS 剖析
2.Hadoop NameNode 剖析
3.Hadoop DataNode 剖(pou)析
4.hadoop I/O 操作(zuo)
5.使用Hadoop HDFS API對(dui)HDFS編程
第二天
第1個(ge)主題(ti)：Hadoop MapReduce
1.Hadoop JobTracker 剖(pou)析
2.Hadoop TaskTracker 剖析
3.Hadoop 任務提交流程剖析
第2個(ge)主題： Hadoop MapReduce Streaming編程(cheng)
1.Hadoop Streaming 和(he) Java MapReduce Api 差異
2.使(shi)用(yong) MapReduce 實現數(shu)據庫功(gong)能
第3個主題(ti)：MapReduce分(fen)布式程序
1.MapReduce流程(cheng)
2.剖(pou)析一(yi)個MapReduce程序
3.基本MapReduceAPI 概(gai)念
4.驅(qu)動代(dai)碼(ma)
第4個主題(ti)：Hadoop Mapreduce高級編程(cheng)
1.ToolRunner介紹
2.使(shi)用MRUnit進行(xing)測(ce)試(shi)
3.利用(yong)Combiners來(lai)減(jian)少中間數據
4.使用Configure和Close方(fang)法來進(jin)行(xing)Map/Reduce設置和關閉
5.編寫(xie)Partitioner來優化負(fu)載(zai)平衡(heng)
6.直接訪(fang)問Hadoop分布式(shi)文件(jian)系統（HDFS）
7.使用(yong)分布式緩存(cun)（Distributed Cache）
第(di)5個主題(ti)：MapReduce的(de)優化
1.map優化(hua)
2.reduce優化
3.小文件優化(hua)
第6個主(zhu)題(ti)：MapReduce的(de)任務調度
1.Queue調度的使(shi)用
2.公平調度的(de)使用
3.能(neng)力調(diao)度的使(shi)用
第7個主題Hadoop 生態系統介紹
分(fen)布式管理組件-Zookeeper
分布式數據倉(cang)庫-Hive
分布式(shi)數據庫-Hbase
數據導入導出-Sqoop
工作流管理- Ozzie
Hadoop數據(ju)倉庫-Hive
Hive基(ji)礎
Hive的(de)作用和原(yuan)理說明
Hadoop倉庫和傳統數據(ju)倉庫的(de)協作關系(xi)；Hive與傳統數據(ju)庫的(de)對接使用(yong)
Hadoop/Hive倉庫數(shu)據數(shu)據流(liu)
第三天
Hadoop數據倉(cang)庫-Hive
Hive Cli 的(de)基本(ben)用(yong)法
HQL基本語法(fa)
自行編寫數據(ju)庫與(yu)Hadoop相互ETL工具的(de)思路
Hadoop 分布式數(shu)據倉(cang)庫-Hbase
Hbase概念與架構
hbase核(he)心知識點
hbase安裝、部署
Hbase配置優化(hua)綜(zong)述
表設計(ji)優(you)化(hua)相關參數
監控工(gong)具使用方(fang)法及注意(yi)事(shi)項
常見異常現象級(ji)處理方(fang)法
（第二專題(ti)：大數據與云計算架構）
日(ri)程 授課(ke)主題 課(ke)程安排
第四天
云計算(suan)概述(shu) 云的理想
云(yun)的挑(tiao)戰
發(fa)展的趨勢(shi)
云是什么(me)
不(bu)同(tong)工作負載(zai)適用不(bu)同(tong)的云
選(xuan)擇合適的云(yun)平臺
幾(ji)個云應(ying)用(yong)案例
我(wo)們身邊(bian)的云
云架構 云多(duo)層架構視圖
IaaS、PaaS與SaaS的定位與異同
云平臺的發展現狀
云數據中心技術架構
IAAS云層的原(yuan)理與應用 IaaS的基礎：虛擬化
虛擬化(hua)相關技(ji)術
Power云部署方案介紹(shao)
VMWare云(yun)部署方(fang)案介(jie)紹
OpenStack云部署方(fang)案介紹
SONAS云存儲方案介紹
應用實例
第五(wu)天
PaaS云層的原(yuan)理與(yu)應用(yong) PaaS的架構原(yuan)理
基于WebSphere的PaaS設(she)計實踐(jian)
SaaS云層的原理(li)與應用(yong) SaaS的架(jia)構原理(li)
一個公(gong)有云SaaS的設計實踐
云計(ji)算的性能管理與(yu)容量規(gui)劃(hua)
什么是性(xing)能容(rong)量(liang)管理
性能(neng)容量管理參考(kao)案(an)例(li)
壓(ya)力測試基本理論(lun)
系統性(xing)能(neng)設(she)計與(yu)調優(you)
第六天
大(da)數據(ju)云的原理與架(jia)構(gou) 存(cun)儲子系統(tong)
傳統(tong)文件系統(tong)
松耦合網絡文件系(xi)統
共享存儲文(wen)件系(xi)統
基于對象的(de)存儲(chu)子系統
大數據存儲子系統
Google GFS
Facebook Haystack
Amazon Dynamo
Yahoo PNUTS
Google BigTable
云存儲服務(wu)
Amazon Simple Storage Service
Google Storage for Developers
六(liu)、培(pei)訓(xun)證書
證(zheng)書(shu)可作為(wei)專業技(ji)術(shu)人員職業能力(li)考核的證(zheng)明，以及專業技(ji)術(shu)人員崗位聘用、任職、定級和(he)晉升職務的重要(yao)依據。
大數(shu)據與云計算培訓
轉載：//citymember.cn/gkk_detail/153.html
已開課時(shi)間Have start time
大數據課程內訓
- 《大數據精益化營銷思維與運 喻國(guo)慶
- 建材門店--微信獲客與運營 武建(jian)偉
- 《精細運營——京東/天貓平 武建偉
- 《大數據分析與客戶開發》 喻(yu)國慶(qing)
- 大數據提升：用戶體驗提升與 武建(jian)偉
- 數據創造價值——大數據分析 張曉如
- 《流量神器，銷量升級：如何 武建(jian)偉(wei)
- 《銀行--網絡消費行為與網 武建偉
- 數據驅動價值 ——基于Ex 張(zhang)曉(xiao)如(ru)
- 能源電力企業數字化轉型探索 李開東(dong)
- 大數據項目解決方案及應用 胡國(guo)慶
- 互聯網大數據分析管理 孫(sun)平(ping)