国产极品粉嫩福利姬萌白酱_伊人WWW22综合色_久久精品a一国产成人免费网站_法国啄木乌AV片在线播放

Hadoop大數據平臺開發與案例分析培訓班

一、  課程介紹
1.需求理解
Hadoop 設計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設計上與生俱來的優點，才使得Hadoop 一出現就受到眾多大公司的青睞，同時也引起了研究界的普遍關注。
對電(dian)信(xin)運營(ying)商而言,用戶(hu)上網日(ri)志包含(han)了大量(liang)用戶(hu)個性(xing)化需(xu)求(qiu)、喜好信(xin)息,對其進行分(fen)析(xi)和(he)挖掘,能更好地了解客戶(hu)需(xu)求(qiu)。傳(chuan)統經營(ying)分(fen)析(xi)系(xi)統小型(xing)機加關系(xi)型(xing)數(shu)(shu)(shu)據庫的(de)架(jia)構(gou)無法滿足對海量(liang)非結構(gou)化數(shu)(shu)(shu)據的(de)處理(li)需(xu)求(qiu),搭建基(ji)于X86的(de)Hadoop 平臺,引(yin)入大數(shu)(shu)(shu)據處理(li)技術(shu)的(de)方式(shi),實(shi)現高效(xiao)率(lv)、低(di)成(cheng)本、易擴展(zhan)的(de)經營(ying)分(fen)析(xi)系(xi)統混搭架(jia)構(gou)成(cheng)為電(dian)信(xin)運營(ying)商最為傾(qing)向的(de)選擇。本課程將全面介紹(shao)Hadoop平臺開發和(he)運維的(de)各項技術(shu)，對學員使用該項技術(shu)具有很高的(de)應用價值(zhi)。

2.培訓課程架構與設計思路
（1）培訓架構：
本課程分為三個主要部分：
第一部分：重點講述大數據技術在的應用，使學員對大數據技術的廣泛應用有清晰的認識，在這環節當中會重點介紹Hadoop技術在整個大數據技術應用中的重要地位和應用情況。
第二部分：具體對hadoop技術進行模塊化分拆，從大數據文件存儲系統技術和分布式文件系統平臺及其應用談起，介紹Hadoop技術各主要應用工具和方法，以及在運維維護當中的主流做法，使學員全面了解和掌握Hadoop技術的精華。
第三部分：重點剖析大數據的應用案例，使學員在案例當中對該項技術有更深入的感觀印象
（2）設計思路：
本課程采用模塊化教學方法，以案例分析為主線，由淺入深、循序漸進、由理論到實踐操作進行設計。
（3）與企業的貼合點：
本課(ke)程結(jie)合企(qi)業(ye)轉型發(fa)(fa)展(zhan)及大(da)數據(ju)發(fa)(fa)展(zhan)戰略(lve)，圍繞企(qi)業(ye)大(da)數據(ju)業(ye)務及行(xing)業(ye)應(ying)用市場拓展(zhan)發(fa)(fa)展(zhan)目標(biao)，重點(dian)講(jiang)授Hadoop的(de)(de)應(ying)用技(ji)術，提(ti)升企(qi)業(ye)IT技(ji)術人員的(de)(de)開(kai)發(fa)(fa)和(he)運(yun)維能力，有很強的(de)(de)貼合度。

二、培訓對象
各地企事業單位大數據產業相關人員，運營商 IT信息化和運維工程師相關人員，金融業信息化相關人員，或對大數據感興趣的相關人員。
三、培訓目標
掌(zhang)握(wo)大(da)(da)數(shu)(shu)據處理平(ping)臺（Hadoop、Spark、Storm）技術架構(gou)(gou)、以及平(ping)臺的安(an)裝部署、運(yun)維配置(zhi)、應用(yong)開發；掌(zhang)握(wo)主流大(da)(da)數(shu)(shu)據Hadoop平(ping)臺和(he)Spark實時處理平(ping)臺的技術架構(gou)(gou)和(he)實際(ji)應用(yong)；利用(yong)Hadoop+Spark對行業大(da)(da)數(shu)(shu)據進行存儲(chu)管(guan)理和(he)分(fen)(fen)析(xi)挖掘的技術應用(yong)；講解Hadoop生(sheng)態系統組件，包括Storm，HDFS，MapReduce，HIVE，Hbase，Spark，GraphX，MLib，Shark， ElasticSearch等大(da)(da)數(shu)(shu)據存儲(chu)管(guan)理、分(fen)(fen)布式數(shu)(shu)據庫、大(da)(da)型(xing)數(shu)(shu)據倉庫、大(da)(da)數(shu)(shu)據查(cha)詢與搜索、大(da)(da)數(shu)(shu)據分(fen)(fen)析(xi)挖掘與分(fen)(fen)布式處理技術

四、培訓大綱
（1）課程框架
時間培訓內容教學方式
第一天上午第一部分：移動互聯網、大數據、云計算相關技術介紹 第二部分：大數據的挑戰和發展方向理論講授+案例分析
下午第三部分：大數據文件存儲系統技術和分布式文件系統平臺及其應用 第四部分：Hadoop文件系統HDFS*實戰理論講授+案例分析+小組討論
第二天上午第五部分：Hadoop運維管理與性能調優 第六部分：*SQL數據庫Hbase與Redis理論講授+案例分析+實戰演練
下午第七部分：類SQL語句工具——Hive 第八部分：數據挖掘SPARK建模基礎介紹理論講授+案例分析+實戰演練
第三天上午第九部分：Kafka基礎介紹 第十部分：大數據典型應用與開發案例分析：互聯網數據運營理論講授+案例分析
下午第十一部分：當前數據中心的改造和轉換分析-以國內外運營商、互聯網公司為例 第十二部分：課程總結與問題答疑 評估培訓理論講授+案例分析+小組討論
第四天學員考試與業界(jie)交流

課程內容：
模塊一：移動互聯網、大數據、云計算相關技術介紹
1、數據中心與云計算技術應用 
2、智慧城市與云計算技術應用 
3、移動互聯網、大數據與云計算關聯技術 
4、移動云計算的生態系統及產業鏈 
5、大數據技術在運營商、金融業、銀行業、電子商務行業、零售業、制造業、政務信息化、互聯網、教育信息化等行業中的應用實踐 
6、國內外主流的大數據解決方案介紹 
7、當前大數據解決方案與傳統數據庫方案的剖析比較 
8、Cloudera Hadoop 大數據平臺方案剖析 
9、開源(yuan)的大數據生態系(xi)統平(ping)臺剖析

模塊二：大數據的挑戰和發展方向
1、大數據時代的挑戰 
.戰略決策能力 
.技術開發和數據處理能力 
.組織和運營能力 
2、大數據時代的發展方向 
.云計算是基礎設施架構 
.大數據是靈魂資產 
.分析、挖掘是手段 
.發現和預測是最終目標 
3、大數據挖掘在各行業應用情況 
.電信行業應用及案例分析 
.互聯網行業應用及案例分析 
.金融行業應用及案例研究 
.銷售行業應用案例分析

模塊三：大數據文件存儲系統技術和分布式文件系統平臺及其應用
1、Hadoop的發展歷程 
.Hadoop大數據平臺架構 
.基于Hadoop平臺的PB級大數據存儲管理與分析處理的工作原理與機制 
.Hadoop 的核心組件剖析 
2、分布式文件系統HDFS 
.概述、功能、作用、優勢 
.應用范疇、應用現狀 
.發展趨勢 
3、分布式文件系統HDFS架構及原理 
.核心關鍵技術 
.設計精髓 
.基本工作原理 
.系統架構 
.文件存儲模式 
.工作機制 
.存儲擴容與吞吐性能擴展 
4、分布式文件系統HDFS操作 
.SHELL命令操作 
.I/O流式操作 
.文件數據讀取、寫入、追加、刪除 
.文件狀態查詢 
.數據塊分布機制 
.數據同步與一致性 
.元數據管理技術 
.主節點與從節點工作機制 
.大數據負載均衡技術 
.HDFS大數據存儲集群管理技術 
5、Hadoop生態系統組件 
.Storm 
.HDFS 
.MapReduce 
.HIVE 
.Hbase 
.Spark 
.GraphX 
.MLib 
.Shark

模塊四：Hadoop文件系統HDFS*實戰
1、HDFS的設計 
2、HDFS的概念 
.數據塊 
.namenode和datanode 
.聯邦HDFS 
.HDFS的高可用性 
3、命令行接口 
4、Hadoop文件系統 
5、Java接口 
.從Hadoop URL讀取數據 
.通過FileSystem API讀取數據 
.寫入數據 
.目錄 
.查詢文件系統 
.刪除數據 
6、數據流 .剖析文件讀取 
.剖析文件寫入 
.一致模型 
7、通過Flume和Sqoop導入數據 
8、通過distcp并行復制 
9、Hadoop存檔 
.使用Hadoop存檔工具 
.不足

模塊五：Hadoop運維管理與性能調優
1、第二代大數據處理框架 
.Yarn的工作原理及 
.DAG并行執行機制 
.Yarn大數據分析處理案例分析 
.Yarn 框架并行應用程序實踐 
2、集群配置管理 
.Hadoop集群配置 
.Hadoop性能調優與參數配置 
.Hadoop機架感知策略與配置 
.Hadoop壓縮機制 
.Hadoop任務負載均衡 
.Hadoop 集群維護 
.Hadoop監控管理 
3、HDFS的靜態調優技巧 
.HDFS 的高吞吐量I/O性能調優技巧 
.MapReduce/Yarn的并行處理性能調優技巧 
.Hadoop集群的運行故障剖析，以及解決方案 
.基于Hadoop大數據應用程序的性能瓶頸剖析與提 
.Hadoop 大數據運維監控管理系統 HUE 平臺的安裝部署與應用配置 
.Hadoop運維管理監控系統Ambari平臺的安裝部配置 
.Hadoop 集群運(yun)維系統(tong) Ganglia, Nagios的(de)安裝部(bu)署與應用(yong)配置

模塊六：*SQL數據庫Hbase與Redis
1、*SQL基礎 
.CAP理論 
.base與ACID 
.*SQL數據庫存儲類型 鍵值存儲 列存儲 文檔存儲 圖形存儲 
2、Hbase分布式數據基礎 
3、安裝Hbase 
4、Hbase應用 
.Hbase的邏輯數據模型，Hbase的表、行、列族、列、單元格、版本、row key排序 
.Hbase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則 
.Hbase 主節點HMaster的工作原理，HMaster的高可用配置，以及性能調優 
.Hbase 從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優 
.Hbase的存儲引擎工作原理，以及Hbase表數據的鍵值存儲結構，以及HFile存儲結構剖析 
.Hbase表設計與數據操作以及數據庫管理操作 .Hbase集群的安裝部署、參數配置和性能優化 
5、Hbase分布式數據庫簡介、發展歷程、應用場景、工作原理、以及應用優勢與不足之處 
.Hbase分布式數據庫集群的主從式平臺架構和關鍵技術剖析 
.Hbase偽分布式和物理集群分布式的控制與運行配置 
.Hbase從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優 
.Hbase的存儲引擎工作原理，以及Hbase表數據的鍵值存儲結構，以及HFile存儲結構剖析 
.Hbase表設計與數據操作以及數據庫管理操作 
.Hbase集群的安裝部署、參數配置和性能優化 
.ZooKeeper分布式協調服務系統的工作原理、平臺架構、集群部署應用實戰 
.ZooKeeper集群的原理架構，以及應用配置 
6、Redis內存數據庫介紹，以及業界應用案例 
.Redis內存數據庫集群架構以及核心技術剖析 
.Redis 集群的(de)安(an)裝部署與應用開發實戰

模塊七：類SQL語句工具——Hive
1、安裝Hive 
2、示例 
3、運行Hive 
.配置Hive 
.Hive服務 
.metastore 
4、Hive與傳統數據庫相比 
.讀時模式vs.寫時模式 
.更新、事務和索引 
5、HiveQL 
.數據類型 
.操作與函數 
6、表 
.托管表和外部表 
.分區和桶 
.存儲格式 
.導入數據 
.表的修改 
.表的丟棄 
7、查詢數據 
.排序和聚集 
.MapReduce腳本 
.連接 
.子查詢 
.視圖 
8、用戶定義函數 
.寫UDF 
.寫UDAF

模塊八：數據挖掘SPARK建模基礎介紹 
1、Spark簡介 
.Spark是什么 
.Spark生態系統BDAS 
2、Spark架構  
.Spark分布式架構與單機多核架構的異同  
3、Spark集群的安裝與部署  
.Spark的安裝與部署  
.Spark集群初試 
4、Spark硬件配置  
.Spark硬件 
.Spark硬件配置流程

模塊九：Kafka基礎介紹
1、Kafka介紹 
2、kafka體系結構 
3、kafka設計理念簡介 
4、kafka通信協議 
5、kafka的偽分布安裝、集群安裝 
6、kafka的shell操作、java操作 
7、kafka設計理念* 
8、kafka producer和consumer開發 
9、Kafka分布式消息訂閱系統的應用介紹、平臺架構、集群部署與配置應用實戰 
10、Flume-NG數據采集系統的數據流模型、平臺架構、集群部署與配置應用實戰 
11、Hadoop與DBMS之間數據交互工具Sqoop的應用實踐， 
12、Sqoop導入導出數據以及Sqoop集群部署與配置 
13、Kettle 集群的平臺架構、核心技術、部署配置和應用實戰 
14、利(li)用(yong)Sqoop實現 MySQL 與 Hadoop 集(ji)群(qun)之(zhi)間

模塊十：大數據典型應用與開發案例分析：互聯網數據運營
1、案例1：貴州數據交易中心 
.交易所交易形式：電子交易 
.交易所服務：大數據交易、大數據清洗建模分析、大數據定向采購、大數據平臺技術開發 
.大數據交易安全性探討分析 .數據交易中心商業模式探討分析 
2、案例2：大數據應用案例：公共交通線路的智能規劃 
.UrbanInsights：為公交公司提供基于訂閱訪問的大數據工具以及大數據咨詢服務 
.Urban Insights數據源、數據收集、數據倉庫、數據分析——設計運營線路 
.Urban Insights通過互聯網數據的運營 
3、討論：浙江移動大(da)數據(ju)應用(yong)與開發(fa)方向

模塊十一：當前數據中心的改造和轉換分析-以國內外運營商、互聯網公司為例
1、流商業大數據解決方案比較  
2、主流開源云計算系統比較.  
3、國內外代表性大數據平臺比較.  
4、各廠商*的大數據產品介紹 
5、案例分析 .Facebook的SNS平臺應用 
.Google的搜索引擎應用 
.Rackspace的日志處理 .Verizon成立精準市場營銷部 
.TelefonicaDynamicInsights推出的名為“智慧足跡”的商業服務 
.中(zhong)國聯通的“移動通信用戶(hu)上網記錄集中(zhong)查(cha)詢(xun)與分析支撐系統” 

五、師資介紹
張老師(shi)：阿(a)里大(da)數(shu)(shu)據(ju)(ju)(ju)(ju)高級專(zhuan)家，國(guo)內(nei)資深(shen)的(de)(de)Spark、Hadoop技(ji)術(shu)專(zhuan)家、虛擬化(hua)專(zhuan)家，對HDFS、MapReduce、Hbase、Hive、Mahout、Storm、spark和openTSDB等(deng)Hadoop生態系(xi)統中(zhong)(zhong)的(de)(de)技(ji)術(shu)進行(xing)了(le)多年的(de)(de)深(shen)入的(de)(de)研究(jiu)，更主要(yao)的(de)(de)是這些技(ji)術(shu)在大(da)量的(de)(de)實(shi)(shi)際項目中(zhong)(zhong)得(de)到廣泛的(de)(de)應用，因此在Hadoop開發和運維(wei)方面積(ji)累了(le)豐富的(de)(de)項目實(shi)(shi)施經驗。近年主要(yao)典(dian)型(xing)的(de)(de)項目有：某(mou)(mou)(mou)電(dian)信集(ji)團網(wang)絡優(you)化(hua)、中(zhong)(zhong)國(guo)移動(dong)(dong)某(mou)(mou)(mou)省移動(dong)(dong)公司請賬單(dan)系(xi)統和某(mou)(mou)(mou)省移動(dong)(dong)詳(xiang)單(dan)實(shi)(shi)時查(cha)詢(xun)系(xi)統、中(zhong)(zhong)國(guo)銀(yin)(yin)聯大(da)數(shu)(shu)據(ju)(ju)(ju)(ju)數(shu)(shu)據(ju)(ju)(ju)(ju)票據(ju)(ju)(ju)(ju)詳(xiang)單(dan)平臺(tai)、某(mou)(mou)(mou)大(da)型(xing)銀(yin)(yin)行(xing)大(da)數(shu)(shu)據(ju)(ju)(ju)(ju)記錄系(xi)統、某(mou)(mou)(mou)大(da)型(xing)通(tong)信運營商全國(guo)用戶上網(wang)記錄、某(mou)(mou)(mou)省交(jiao)通(tong)部門違章系(xi)統、某(mou)(mou)(mou)區(qu)域醫療大(da)數(shu)(shu)據(ju)(ju)(ju)(ju)應用項目、互聯網(wang)公共數(shu)(shu)據(ju)(ju)(ju)(ju)大(da)云(DAAS)和構建游戲云(Web Game Daas)平臺(tai)項目等(deng)。

六、頒發證書
參加相關培訓并通過考試的學員，可以獲得：
工業(ye)和(he)信(xin)息化部(bu)頒發的(de)-《大數(shu)據應用開發工程(cheng)師證(zheng)(zheng)書》。該證(zheng)(zheng)書可作為專(zhuan)業(ye)技術(shu)人員職(zhi)業(ye)能力考核的(de)證(zheng)(zheng)明，以及專(zhuan)業(ye)技術(shu)人員崗(gang)位聘(pin)用、任職(zhi)、定級(ji)和(he)晉升職(zhi)務的(de)重要(yao)依據。注：請學員帶一寸(cun)彩照2張（背面注明姓名）、身份證(zheng)(zheng)復印件一張。

Hadoop大數據平臺開發與案例分析培訓班