課程描述INTRODUCTION
大數據課程:Hadoop應用與開發
日程安排(pai)SCHEDULE
課程大綱Syllabus
課程收益:
1、使參加學員全面掌握物大數據相關技術及教學方法;幫助各高校在大數據專業課程體系建設提供全方位、強有力的教學資源和技術支持。
2、全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉,從而熟練使用Hadoop進行MapRedce程序開發。課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業在利用大數據方面體現自身價值。
3、深入理解Hadoop技術(shu)架構(gou),對(dui)(dui)(dui)Hadoop運(yun)作機制(zhi)有(you)清晰全面的(de)(de)(de)(de)認識,可以(yi)獨立(li)規劃及部署(shu)生產(chan)環境的(de)(de)(de)(de)Hadoop集(ji)(ji)群(qun),掌握Hadoop基本運(yun)維(wei)思路和方(fang)法,對(dui)(dui)(dui)Hadoop集(ji)(ji)群(qun)進(jin)行(xing)管理和優(you)化(hua)。現(xian)如(ru)今大(da)(da)數(shu)據(ju)(ju)、云計(ji)算、移動互聯網處于高(gao)速發(fa)展階段,互聯網每天都會產(chan)生大(da)(da)量(liang)的(de)(de)(de)(de)數(shu)據(ju)(ju),這(zhe)些海量(liang)的(de)(de)(de)(de)數(shu)據(ju)(ju)資(zi)源對(dui)(dui)(dui)我(wo)們生活產(chan)生了影響,對(dui)(dui)(dui)企(qi)業(ye)(ye)的(de)(de)(de)(de)經營決(jue)策進(jin)行(xing)指導(dao)。在這(zhe)種形勢下,大(da)(da)數(shu)據(ju)(ju)已經被視為一(yi)種財(cai)富、一(yi)種資(zi)產(chan)、一(yi)種可以(yi)被衡量(liang)和計(ji)算的(de)(de)(de)(de)價值,大(da)(da)數(shu)據(ju)(ju)將成(cheng)為不可或缺(que)的(de)(de)(de)(de)戰略資(zi)源。新(xin)技術(shu)的(de)(de)(de)(de)發(fa)展必(bi)然導(dao)致大(da)(da)批專業(ye)(ye)人才的(de)(de)(de)(de)稀缺(que),對(dui)(dui)(dui)于高(gao)校(xiao)而言,擁有(you)專業(ye)(ye)的(de)(de)(de)(de)大(da)(da)數(shu)據(ju)(ju)師資(zi)隊伍將成(cheng)為高(gao)教產(chan)業(ye)(ye)發(fa)展的(de)(de)(de)(de)重要環節。而在這(zhe)個(ge)過程(cheng)中,中國(guo)軟件產(chan)業(ye)(ye)培(pei)(pei)訓網憑借多(duo)年的(de)(de)(de)(de)大(da)(da)數(shu)據(ju)(ju)企(qi)業(ye)(ye)培(pei)(pei)訓、技術(shu)咨(zi)詢、專業(ye)(ye)師資(zi)等(deng)優(you)勢資(zi)源,和各(ge)大(da)(da)院校(xiao)一(yi)起共同構(gou)建大(da)(da)數(shu)據(ju)(ju)專業(ye)(ye)人才培(pei)(pei)養(yang)體系,同時(shi)歡迎更多(duo)的(de)(de)(de)(de)高(gao)校(xiao)能夠與本單位聯手,共同為中國(guo)培(pei)(pei)養(yang)出優(you)秀的(de)(de)(de)(de)云計(ji)算、大(da)(da)數(shu)據(ju)(ju)的(de)(de)(de)(de)專業(ye)(ye)人才!本次培(pei)(pei)訓由中聯軟博(北京(jing))科技有(you)限(xian)公司具體承(cheng)辦,相關事項如(ru)下:
一、課程目標
1、使參加學員全面掌握物大數據相關技術及教學方法;幫助各高校在大數據專業課程體系建設提供全方位、強有力的教學資源和技術支持。
2、全面掌握Hadoop的架構原理和使用場景,并通過貫穿課程的項目進行實戰鍛煉,從而熟練使用Hadoop進行MapRedce程序開發。課程還涵蓋了分布式計算領域的常用算法介紹,幫助學員為企業在利用大數據方面體現自身價值。
3、深入理解Hadoop技術架構,對Hadoop運作機制有清晰全面的認識,可以獨立規劃及部署生產環境的Hadoop集群,掌握Hadoop基本運維思路和方法,對Hadoop集群進行管理和優化。
二、培訓時間
2017年7月11日-7月17日杭州(11日全天報到)
2017年7月18日-7月24日北京(18日全天報到)
2017年7月25日-7月31日成都(25日全天報到)
三、培訓對象
各高等院校計算機科學技術、網絡工程、軟件工程、信息工程、信息管理、物聯網等相關專業教學帶頭人及骨干教師;各高校教務處、科研處、信息中心、實驗室等領導
各企業大數據架構師、技術總監、數據挖掘負責人、數據挖掘開發工程師
四、培訓安排
在本屆師資培訓安排的實訓課程中,來自阿里與高校等專家講師、一線工程師將結合自主研發的Hadoop課程體系及實驗,講解并帶著老師們完成了從實驗基礎環境的搭建---實驗數據的建立---實驗數據的導入---數據分析—數據挖掘全過程,以幫助參訓教師完整學習Hadoop知識體系,包括實驗環境的搭建、使用、數據分析、數據挖掘,給參訓老師們有了更加直觀的體驗。還詳細講解了大數據搜索挖掘平臺,通過大數據精準搜索,使其搜索結果自動分組統計。根據關鍵詞提取,聚類、過濾分類等技術流程進行數據挖掘,挖掘出數據的價值。
五、師資力量
張老師:阿里大數據高級專家,國內資深的Spark、Hadoop技術專家、虛擬化專家,對HDFS、MapRedce、Hbase、Hive、Mahot、Storm、spark和openTSDB、大數據挖掘算法等Hadoop生態系統中的技術進行了多年的深入的研究,更主要的是這些技術在大量的實際項目中得到廣泛的應用,因此在Hadoop開發和運維方面積累了豐富的項目實施經驗。近年主要典型的項目有:某電信集團網絡優化、中國移動某省移動公司請賬單系統和某省移動詳單實時查詢系統、中國銀聯大數據數據票據詳單平臺、某大型銀行大數據記錄系統、某大型通信運營商全國用戶上網記錄、某省交通部門違章系統、某區域醫療大數據應用項目、互聯網公共數據大云(DAAS)和構建游戲云(WebGameDaas)平臺項目等。
蔣老師:清華大學博士,云計算專家熟悉主流的云計算平臺,并有商業與開源云計算平臺的實踐經驗,對云計算關鍵技術有深刻了解和實踐經驗,如分布式系統、虛擬化、分布式文件系統、云存儲等,參與并領導多個大型云計算項目。對大數據關鍵技術有深刻了解和實踐經驗,如NoSQL數據庫、大數據處理、Hadoop、Hive、Hbase、Spark等。
六、頒發證書
參加相關培訓并通過考試的學員,可以獲得:
工業和信息化部頒發的-大數據處理高級工程師。該證書可作為專業技術人員職業能力考核的證明,以及專業技術人員崗位聘用、任職、定級和晉升職務的重要依據。
注:請學員帶二寸彩照2張(背面注明姓名)、身份證復印件一張。
七、培訓費用及須知
3980元/人(含盤電子資料、教材、培訓費、證書費以及學習用具等費用)
食宿統一安排,費用自理。
八、增值服務
1、協助高校大數據專業共建和課程置換
2、建立大數據聯合實驗室,協助高校搭建大數據實驗平臺
3、培養大數據專業講師,為高校大數據課程儲備人才
4、培養大數據應用型人才,面向就業提高學生就業率
5、免費提供大數據相關咨詢服務
九、報名方式
請填好報名回執表,并于開(kai)班(ban)前一周傳真或者郵件(jian)至會務組(zu),開(kai)班(ban)前一周我們將(jiang)發(fa)送(song)報到(dao)通知,屆時請注意查收.
十、培訓內容
課程模塊課程主題主要內容案例和演示
模塊一大數據介紹及高校如何開設大數據教學課程
1)大數據概念的發展與解析
2)大數據在國內外發展現狀
3)大數據在互聯網發展現狀
4)大數據四個特點分析
5)大數據課程教師需要具備的大數據知識儲備
6)大數據相關招聘崗位需求分析
7)大數據技術演進與變革
8)應對IT新技術變革,教師知識的儲備與提升
9)在哪個層面進行教學精彩案例
高校開設大數據的教學可在多個層面上進行
有條件的高校可以開設云計算專業
不具(ju)備條件的(de)高校可以開設大(da)數(shu)據(ju)方面的(de)課程,介紹(shao)大(da)數(shu)據(ju)的(de)知(zhi)識,引導(dao)學生向大(da)數(shu)據(ju)方面發(fa)展
模塊二大數據帶來的機遇和挑戰大數據帶來的機遇和挑戰
1)大數據能帶來什么、引領社會進入“大數據時代”
2)大數據對國家、社會的作用、大數據將推動經濟發展
3)大數據將推動科技發展進程、開啟商業智能新階段
4)數據分析的發展——從數據到知識大數據如何讓商業更智能、大數據應用案例
5)帶來數據處理新變革、大數據的關鍵技術
6)大數據與云計算、大數據技術的發展趨勢精彩案例
電信手機上網日志分析
移動GPRS上網日志查詢系統
某省份聯通網絡不良信息檢測系統
國土資源部門下屬單位非結構離線網格分析平臺
某銀行海量數據統一分析平臺
某電信用戶屬性精分系統
某銀行實時計算平臺
某電力電臺(tai)電視(shi)節目推薦系統
模塊三Hadoop在云計算技術的作用和地位傳統大規模系統存在的問題
Hadoop概述
Hadoop分布式文件系統
MapRedce工作原理
Hadoop集群剖析
Hadoop生態系統對一種新的解決方案的需求
Hadoop的行業應用案例分析
Hadoop在云計算和大數據的位置和關系數據開放,數據云服務平臺(DAAS)時代
Hadoop平臺在數據云平臺(DAAS)上的天然優勢。
數據云平臺(DAAS平臺)組成部分
互聯網公共數據大云(DAAS)案例
Hadoop構建構建游戲(xi)云(WebGameDaas)平(ping)臺
模塊四Hadoop生態系統介紹和演示HadoopHDFS和MapRedce
Hadoop數據庫之Hbase
Hadoop數據倉庫之Hive
Hadoop數據處理腳本Pig
Hadoop數據接口Sqoop和Flme,ScribeDataX
Hadoop工作流引擎Oozie運用Hadoop自下而上構建大規模企業數據倉庫
暴風影音數據倉庫實戰解析
模塊五Hadoop組件詳解HadoopHDFS基本結構
HadoopHDFS副本存放策略
HadoopNameNode詳解
HadoopSecondaryNameNode詳解
HadoopDataNode詳解
HadoopJobTracker詳解
HadoopTaskTracker詳解HadoopMapper類核心代碼
HadoopRedce類核心代碼
Hadoop核心代碼(ma)
模塊六Hadoop安裝和部署Hadoop系統模塊組件概述
Hadoop試驗集群的部署結構
Hadoop安裝依賴關系
Hadoop生產環境的部署結構
Hadoop集群部署
Hadoop高可用配置方法
Hadoop集群簡單測試方法
Hadoop集群異常Debg方法Hadoop安裝部署實驗
RedhatLinx基礎環境搭建
Hadoop單機系統版本安裝配置
Hadoop集群系統版本安裝和啟動配置
使用HadoopMapRedceStreaming快速測試系統
Hadoopcore-site,hdfs-site,mapred-site配(pei)置詳解
模塊七Hadoop集群規劃Hadoop集群內存要求
Hadoop集群磁盤分區
集群和網絡拓撲要求
集群(qun)軟件的(de)端口配置(zhi)針(zhen)對NameNodeJobtrackerDataNodeTaskTrackerHiveserver等(deng)不(bu)同組件需(xu)求推薦服務器配置(zhi)
模塊八 MapRedce算法原理HadoopMapRedce算法的原理和優化思想
靈活運用MapRedce實現算法運用MapRedce構建數據庫算法
SelectSortGrogBySmCont
Join新進流失算法
使用Y-Smart快速轉換SQL為MapRedce代碼
模塊九 編寫MapRedce高級程序使用HadoopMapRedceStreaming編程
MapRedce流程
剖析一個MapRedce程序
基本MapRedceAPI概念
驅動代碼Mapper、Redcer
Hadoop流
API使用Eclipse進行快速開發
新MapRedceAPI
MapRedce的優化
MapRedce的任務調度
MapRedce編程實戰
如何利用其他Hadoop相關技術,包括ApacheHive,ApachePig,Sqoop和Oozie等
滿足解決實際數據分析問題的高級HadoopAPIHadoopStreaming和JavaMapRedceApi差異。
MapRedce實現數據庫功能
利用Combiners來減少中間數據
編寫Partitioner來優化負載平衡
直接訪問Hadoop分布式文件系統(HDFS)
Hadoop的join操作
輔助排序在Redcer方的合并
定制Writables和WritableComparables
使用SeqenceFiles和Avro文件保存二進制數據
創建InptFormatsOtptFormats
Hadoop的二次排序
Hadoop的海量日志分析
在Map方的合并(bing)
模塊十 集成Hadoop到現有工作流
及HadoopAPI深入探討存儲系統
利用Sqoop從關系型數據庫系統中導入數據到Hadoop
利用Flme導入實時數據到Hadoop
ToolRnner介紹、使用MRnit進行測試
使用Configre和Close方法來進行Map/Redce設置和關閉使用FseDFS和Hadoop訪問HDFS
使用分布式緩存(DistribtedCache)
直接訪問Hadoop分布式文件系統(HDFS)
利用Combiners來減少中間數據
編寫(xie)Partitioner來優化負載平衡(heng)
模塊十一 使用Hive和Pig開發及技巧Hive和Pig基礎
Hive的作用和原理說明
Hadoop倉庫和傳統數據倉庫的協作關系
Hadoop/Hive倉庫數據數據流
Hive部署和安裝
HiveCli的基本用法
HQL基本語法
運用Pig過濾用戶數據使用JDBC連接Hive進行查詢和分析
使用正則表達式加載數據
HQL高級語法
編寫DF函數
編寫DAF自定義函數
基于Hive腳本內嵌Streaming編(bian)程
模塊十二 Hbase安裝和使用Hbase安裝部署
Hbase原理和結構
Hbase運維和管理使用Hbase+Hive提供OLAPSQL查詢能力
使用Hbase+Phoenix提供OLTPSQL能力
基于Hbase的時間(jian)序列數據庫OpenTsDb結構解析
模塊十三 Hadoop2.0集群探索Hadoop2.0HDFS原理
Hadoop2.0Yarn原理
Hadoop2.0生(sheng)態系(xi)統(tong)基(ji)于Hadoop2.0構(gou)建分布式(shi)系(xi)統(tong)
模塊十四 Hadoop企業級別案例解析Hadoop結構化數據案例
Hadoop非結構化案例
Hbase數據庫案例
Hadoop視頻分析案例利用大數據分析改進交通管理
區域醫療大數據應用案例
銀聯大數據數據票據詳單平臺
某銀行大數據Spark應用案例詳解
某證券公司大數據案例介紹
廣東移動省公司請賬單系統
上海電信網絡優化
某通信運營商全國用戶上網記錄
浙江臺州市智能交通系統
移動廣州詳單實時查詢系統
跨區域實時視頻監控系統
電信大數據案例介紹:
基于社交網絡的*營銷和客戶維系
基于信令分析用戶的移動軌跡
基站規劃和動態優化
智慧城市交通
流量分析
上海聯通大(da)數據開放變現(xian)的實現(xian)案例介紹
模塊十五 RedHadoop企業版本運用RedHadoop快速構建服務集群
運用RedHadoopDW構建數據倉庫基于RedHadoopHive構建數據倉庫平臺
靈活運用Hive加速游戲數據倉庫
基于Pig+OpenCV大規模(mo)圖(tu)像(xiang)人臉識別
模塊十六 Spark原理和入門Spark原理;Spark的架構圖;Spark運行模式介紹
—local;—standalone;—messos;—yarn;Spark的RDD
什么是RDD;RDD的種類;—Tranformation;—Action
Spark的存儲級別;Cache介紹;Spark的容錯原理
Lineage容錯;Checkpoint容錯;RDD的創建
案(an)例(li)—統計單詞的個數
模塊十七 互聯網大數據應用案例根阿里的ODPS大數據平臺架構介紹
阿里的實時推薦架構
阿里的交叉營銷系統
阿里支付寶交易監控系統
支付寶微貸案例分析(互聯網征信系統)
京東打白條系統分析
百度(du)預測大數據平臺案例分(fen)析(xi)
轉載://citymember.cn/gkk_detail/23552.html
已開課(ke)時間Have start time
IT相關內訓
- 網安管理崗培訓 張勝生(sheng)
- 軟件安全意識加強與技能提高 張勝(sheng)生(sheng)
- Python高效辦公自動化 張(zhang)曉(xiao)如
- 信息安全風險評估與加固技能 張勝(sheng)生
- 滲透測試與攻防實戰高級課程 張勝(sheng)生(sheng)
- 云計算的應用領域和實踐 武威
- 互聯網新技術在銀行的應用 武威
- 電力信息化:價值和建設分析 劉宇(yu)佳
- 大模型技術與應用培訓 葉梓
- Fine BI 數據分析與 張曉如
- IT崗位數智化能力提升路徑 甄文智
- CISSP認證培訓課程 張勝生(sheng)