国产极品粉嫩福利姬萌白酱_伊人WWW22综合色_久久精品a一国产成人免费网站_法国啄木乌AV片在线播放

全國高校大數據（Hadoop、spark、Python）師資培訓

一、課程介紹
Hadoop板塊
1.需求理解
Hadoop設計之初的目標就定位于高可靠性、高可拓展性、高容錯性和高效性，正是這些設計上與生俱來的優點，才使得Hadoop一出現就受到眾多大公司的青睞，同時也引起了研究界的普遍關注。
對電信(xin)運(yun)營商(shang)而言,用戶(hu)(hu)上(shang)網日志包含了大(da)量(liang)用戶(hu)(hu)個(ge)性化需(xu)(xu)求(qiu)、喜好信(xin)息,對其進(jin)行分(fen)析和(he)挖掘,能更(geng)好地(di)了解客戶(hu)(hu)需(xu)(xu)求(qiu)。傳統經營分(fen)析系(xi)統小型機加關系(xi)型數(shu)(shu)據庫的(de)(de)架構(gou)無法滿足對海量(liang)非結(jie)構(gou)化數(shu)(shu)據的(de)(de)處理需(xu)(xu)求(qiu),搭建基于X86的(de)(de)Hadoop平(ping)臺,引入大(da)數(shu)(shu)據處理技(ji)術(shu)的(de)(de)方式,實現高效(xiao)率、低成本、易擴展的(de)(de)經營分(fen)析系(xi)統混搭架構(gou)成為電信(xin)運(yun)營商(shang)最為傾(qing)向的(de)(de)選擇(ze)。本課(ke)程(cheng)將全面介紹Hadoop平(ping)臺開(kai)發和(he)運(yun)維的(de)(de)各(ge)項技(ji)術(shu)，對學員使(shi)用該項技(ji)術(shu)具(ju)有很高的(de)(de)應用價值(zhi)。

2.培訓課程架構與設計思路
（1）培訓架構：
本課程分為三個主要部分：
第一部分：重點講述大數據技術在的應用，使學員對大數據技術的廣泛應用有清晰的認識，在這環節當中會重點介紹Hadoop技術在整個大數據技術應用中的重要地位和應用情況。
第二部分(fen)：具(ju)體對(dui)hadoop技術進行模塊化分(fen)拆(chai)，從大數據文件存儲系(xi)統技術和分(fen)布式文件系(xi)統平臺及其應用(yong)(yong)談起，介紹Hadoop技術各(ge)主(zhu)要應用(yong)(yong)工具(ju)和方法，以及在(zai)運維維護當中的主(zhu)流做法，使學(xue)員全(quan)面了解和掌握Hadoop技術的精華。

第三部分：重點剖析大數據的應用案例，使學員在案例當中對該項技術有更深入的感觀印象
（2）設計思路：
本課程采用模塊化教學方法，以案例分析為主線，由淺入深、循序漸進、由理論到實踐操作進行設計。
（3）與企業的貼合點：
本課程結合企業轉型發展及大數據發展戰略，圍繞企業大數據業務及行業應用市場拓展發展目標，重點講授Hadoop的應用技術，提升企業IT技術人員的開發和運維能力，有很強的貼合度。
大數據(ju)建模與挖掘板塊

本次課程面向有一定的數據分析挖掘算法基礎的工程師，帶大家實踐大數據分析挖掘平臺的項目訓練，系統地講解數據準備、數據建模、挖掘模型建立、大數據分析與挖掘算法應用在業務模型中，結合主流的Hadoop與Spark大數據分析平臺架構，實現項目訓練。
結合業界使用最廣泛的主流大數據平臺技術，重點剖析基于大數據分析算法與BI技術應用，包括分類算法、聚類算法、預測分析算法、推薦分析模型等在業務中的實踐應用，并根據講師給定的數據集，實現兩個基本的日志數據分析挖掘系統，以及電商（或內容）推薦系統引擎。
本課程基本的實踐環境是Linux集群，JDK1.8，Hadoop2.7.*，Spark2.1.*。
學員需要準備的(de)電腦最好是i5及以(yi)上(shang)CPU，4GB及以(yi)上(shang)內存，硬(ying)盤(pan)空間預留50GB（可用移(yi)動硬(ying)盤(pan)），基本的(de)大數據(ju)分(fen)析平臺(tai)所(suo)依(yi)賴的(de)軟件(jian)包(bao)和依(yi)賴庫等，講(jiang)師已經提(ti)前部署在虛(xu)擬機(ji)鏡像（VMware鏡像），學員根據(ju)講(jiang)師的(de)操(cao)作任務進行實踐。

本課程采用技術原理與項目實戰相結合的方式進行教學，在講授原理的過程中，穿插實際的系統操作，本課程講師也精心準備的實際的應用案例供學員動手訓練。
Python機器學習板塊
1.每個算法模塊按照“原理講解→分析數據→自己動手實現→特征與調參”的順序。
2.“Python數據清洗和特征提取”，提升學習深度、降低學習坡度。
3.增加網絡爬蟲的原理和編寫，從獲取數據開始，重視將實踐問題轉換成實際模型的能力，分享工作中的實際案例或Kaggle案例：廣告銷量分析、環境數據異常檢測和分析、數字圖像手寫體識別、Titanic乘客存活率預測、用戶-電影推薦、真實新聞組數據主題分析、中文分詞、股票數據特征分析等。
4.強化矩陣運算、概率論、數理統計的知識運用，掌握機器學習根本。
5.闡述機器學習原理，提供配套源碼和數據。
6.以直觀解釋，增強感性理解。
7.對比不同的特征選擇帶來的預測效果差異。
8.重視項目實踐，重視落地。思考不同算法之間的區別和聯系，提高在實際工作中選擇算法的能力。
9.涉及(ji)和講解的部分Python庫(ku)有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。

二、培訓對象：各地高校大數據產業相關講師，信息中心相關人員、系主任、院長或對大數據感興趣的相關人員。
三、培訓目標
掌握大數據處理平臺（Hadoop、Spark、Storm）技術架構、以及平臺的安裝部署、運維配置、應用開發；掌握主流大數據Hadoop平臺和Spark實時處理平臺的技術架構和實際應用；利用Hadoop+Spark對行業大數據進行存儲管理和分析挖掘的技術應用；講解Hadoop生態系統組件，包括Storm，HDFS，MapReduce，HIVE，Hbase，Spark，GraphX，MLib，Shark，ElasticSearch等大數據存儲管理、分布式數據庫、大型數據倉庫、大數據查詢與搜索、大數據分析挖掘與分布式處理技術
讓學員充分掌握(wo)大(da)數(shu)據平臺技術架(jia)構、大(da)數(shu)據分析的(de)基本理論、機器學習的(de)常用算法、國內外主流的(de)大(da)數(shu)據分析與(yu)BI商業智能分析解決方案、以及(ji)大(da)數(shu)據分析在搜(sou)索引擎、廣告服務推薦、電商數(shu)據分析、金(jin)融客(ke)戶分析方面的(de)應用案例。

強調主流的大數據分析挖掘算法技術的應用和分析平臺的實施，讓學員掌握主流的基于大數據Hadoop和Spark、R的大數據分析平臺架構和實際應用，并用結合實際的生產系統案例進行教學，掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及商業和開源的數據分析產品加上Hadoop平臺形成大數據分析平臺的應用剖析。
讓學員掌握常見的機器學習算法，深入講解業界成熟的大數據分析挖掘與BI平臺的實踐應用，并以客戶分析系統、日志分析和電商推薦系統為案例，串聯常用的數據挖掘技術進行應用教學。
從數學(xue)(xue)層面推(tui)導(dao)最經典的(de)(de)機器學(xue)(xue)習算法(fa)，以及(ji)每種(zhong)(zhong)算法(fa)的(de)(de)示例和代碼實現（Python）、如何做(zuo)算法(fa)的(de)(de)參數調試、以實際應用(yong)案(an)例分析各種(zhong)(zhong)算法(fa)的(de)(de)選擇等。

四、培訓大綱
模塊一：移動互聯網、大數據、云計算相關技術介紹
1、數據中心與云計算技術應用
2、智慧城市與云計算技術應用
3、移動互聯網、大數據與云計算關聯技術
4、移動云計算的生態系統及產業鏈
5、大數據技術在運營商、金融業、銀行業、電子商務行業、零售業、制造業、政務信息化、互聯網、教育信息化等行業中的應用實踐
6、國內外主流的大數據解決方案介紹
7、當前大數(shu)(shu)(shu)據解決方(fang)案(an)與傳統數(shu)(shu)(shu)據庫方(fang)案(an)的剖(pou)析比較8、ClouderaHadoop大數(shu)(shu)(shu)據平臺(tai)方(fang)案(an)剖(pou)析9、開源的大數(shu)(shu)(shu)據生態系統平臺(tai)剖(pou)析

模塊二：大數據的挑戰和發展方向
1、大數據時代的挑戰
.戰略決策能力
.技術開發和數據處理能力
.組織和運營能力
2、大數據時代的發展方向
.云計算是基礎設施架構
.大數據是靈魂資產
.分析、挖掘是手段
.發現和預測是最終目標
3、大數據挖掘在各行業應用情況
.電信行業應用及案例分析
.互聯網行業應用及案例分析
.金融行業應用及案例研究
.銷售行(xing)業應用案例分(fen)析(xi)

模塊三：大數據文件存儲系統技術和分布式文件系統平臺及其應用
1、Hadoop的發展歷程
.Hadoop大數據平臺架構
.基于Hadoop平臺的PB級大數據存儲管理與分析處理的工作原理與機制
.Hadoop的核心組件剖析
2、分布式文件系統HDFS
.概述、功能、作用、優勢
.應用范疇、應用現狀
.發展趨勢
3、分布式文件系統HDFS架構及原理
.核心關鍵技術
.設計精髓
.基本工作原理
.系統架構
.文件存儲模式
.工作機制
.存儲擴容與吞吐性能擴展
4、分布式文件系統HDFS操作
.SHELL命令操作
.I/O流式操作
.文件數據讀取、寫入、追加、刪除
.文件狀態查詢
.數據塊分布機制
.數據同步與一致性
.元數據管理技術
.主節點與從節點工作機制
.大數據負載均衡技術
.HDFS大數據存儲集群管理技術
5、Hadoop生態系統組件
.Storm
.HDFS
.MapReduce
.HIVE.Hbase
.Spark
.GraphX
.MLib
.Shark

模塊四：Hadoop文件系統HDFS*實戰
1、HDFS的設計
2、HDFS的概念
.數據塊
.namenode和datanode
.聯邦HDFS.HDFS的高可用性
3、命令行接口
4、Hadoop文件系統
5、Java接口
.從HadoopURL讀取數據
.通過FileSystemAPI讀取數據
.寫入數據
.目錄
.查詢文件系統
.刪除數據
6、數據流
.剖析文件讀取
.剖析文件寫入
.一致模型
7、通過Flume和Sqoop導入數據
8、通過distcp并行復制
9、Hadoop存檔
.使用Hadoop存檔工具
.不足

模塊五：Hadoop運維管理與性能調優
1、第二代大數據處理框架
.Yarn的工作原理及
.DAG并行執行機制
.Yarn大數據分析處理案例分析
.Yarn框架并行應用程序實踐
2、集群配置管理
.Hadoop集群配置
.Hadoop性能調優與參數配置
.Hadoop機架感知策略與配置
.Hadoop壓縮機制
.Hadoop任務負載均衡
.Hadoop集群維護
.Hadoop監控管理
3、HDFS的靜態調優技巧
.HDFS的高吞吐量I/O性能調優技巧
.MapReduce/Yarn的并行處理性能調優技巧
.Hadoop集群的運行故障剖析，以及解決方案
.基于Hadoop大數據應用程序的性能瓶頸剖析與提
.Hadoop大數據運維監控管理系統HUE平臺的安裝部署與應用配置
.Hadoop運維管理監控系統Ambari平臺的安裝部配置
.Hadoop集群運維系(xi)統Ganglia,Nagios的安裝部署(shu)與(yu)應用(yong)配置

模塊六：*SQL數據庫Hbase與Redis
1、*SQL基礎
.CAP理論
.base與ACID
.*SQL數據庫存儲類型鍵值存儲列存儲文檔存儲圖形存儲
2、Hbase分布式數據基礎
3、安裝Hbase
4、Hbase應用
.Hbase的邏輯數據模型，Hbase的表、行、列族、列、單元格、版本、rowkey排序
.Hbase的物理模型，命名空間（表空間）、表模式（Schema）的設計法則
.Hbase主節點HMaster的工作原理，HMaster的高可用配置，以及性能調優
.Hbase從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優
.Hbase的存儲引擎工作原理，以及Hbase表數據的鍵值存儲結構，以及HFile存儲結構剖析
.Hbase表設計與數據操作以及數據庫管理操作
.Hbase集群的安裝部署、參數配置和性能優化
5、Hbase分布式數據庫簡介、發展歷程、應用場景、工作原理、以及應用優勢與不足之處
.Hbase分布式數據庫集群的主從式平臺架構和關鍵技術剖析
.Hbase偽分布式和物理集群分布式的控制與運行配置
.Hbase從節點RegionServer（分區服務節點）的工作原理，表分區及存儲I/O高并發配置，以及性能調優
.Hbase的存儲引擎工作原理，以及Hbase表數據的鍵值存儲結構，以及HFile存儲結構剖析
.Hbase表設計與數據操作以及數據庫管理操作
.Hbase集群的安裝部署、參數配置和性能優化
.ZooKeeper分布式協調服務系統的工作原理、平臺架構、集群部署應用實戰
.ZooKeeper集群的原理架構，以及應用配置
6、Redis內存數據庫介紹，以及業界應用案例
.Redis內存數據庫集群架構以及核心技術剖析
.Redis集群的安裝部署與應用開發(fa)實(shi)戰

模塊七：類SQL語句工具——Hive
1、安裝Hive
2、示例
3、運行Hive
.配置Hive
.Hive服務
.metastore
4、Hive與傳統數據庫相比
.讀時模式vs.寫時模式
.更新、事務和索引
5、HiveQL
.數據類型
.操作與函數
6、表
.托管表和外部表
.分區和桶
.存儲格式
.導入數據
.表的修改
.表的丟棄
7、查詢數據
.排序和聚集
.MapReduce腳本
.連接
.子查詢
.視圖
8、用戶定義函數
.寫UDF
.寫UDAF

模塊八：數據挖掘SPARK建模基礎介紹
1、Spark簡介
.Spark是什么
.Spark生態系統BDAS
2、Spark架構
.Spark分布式架構與單機多核架構的異同
3、Spark集群的安裝與部署
.Spark的安裝與部署
.Spark集群初試
4、Spark硬件配置
.Spark硬件
.Spark硬件配置流程

模塊九：Kafka基礎介紹
1、Kafka介紹
2、kafka體系結構
3、kafka設計理念簡介
4、kafka通信協議
5、kafka的偽分布安裝、集群安裝
6、kafka的shell操作、java操作
7、kafka設計理念*
8、kafkaproducer和consumer開發
9、Kafka分布式消息訂閱系統的應用介紹、平臺架構、集群部署與配置應用實戰
10、Flume-NG數據采集系統的數據流模型、平臺架構、集群部署與配置應用實戰
11、Hadoop與DBMS之間數據交互工具Sqoop的應用實踐，
12、Sqoop導入導出數據以及Sqoop集群部署與配置
13、Kettle集群的平臺架構、核心技術、部署配置和應用實戰
14、利用(yong)Sqoop實現MySQL與(yu)Hadoop集群之間

模塊十：大數據典型應用與開發案例分析：互聯網數據運營
1、案例1：貴州數據交易中心
.交易所交易形式：電子交易
.交易所服務：大數據交易、大數據清洗建模分析、大數據定向采購、大數據平臺技術開發
.大數據交易安全性探討分析
.數據交易中心商業模式探討分析
2、案例2：大數據應用案例：公共交通線路的智能規劃
.UrbanInsights：為公交公司提供基于訂閱訪問的大數據工具以及大數據咨詢服務
.UrbanInsights數據源、數據收集、數據倉庫、數據分析——設計運營線路
.UrbanInsights通過互聯網數據的運營
3、討論：浙江移動大數據應(ying)用與(yu)開發方向

模塊十一：當前數據中心的改造和轉換分析-以國內外運營商、互聯網公司為例
1、流商業大數據解決方案比較
2、主流開源云計算系統比較.
3、國內外代表性大數據平臺比較.
4、各廠商*的大數據產品介紹
5、案例分析
.Facebook的SNS平臺應用
.Google的搜索引擎應用
.Rackspace的日志處理
.Verizon成立精準市場營銷部
.TelefonicaDynamicInsights推出的名為“智慧足跡”的商業服務
.中國聯(lian)通的“移動通信用戶上(shang)網(wang)記錄(lu)集(ji)中查詢與分(fen)析支撐系統(tong)”

大數據建模與分析挖掘培訓內容
內容提要授課詳細內容實踐訓練
業界主流的數據倉庫工具和大數據分析挖掘工具
1.業界主流的基于Hadoop和Spark的大數據分析挖掘項目解決方案
2.業界數據倉庫與數據分析挖掘平臺軟件工具
3.Hadoop數據倉庫工具Hive
4.Spark實時數據倉庫工具SparkSQL
5.Hadoop數據分析挖掘工具Mahout
6.Spark機器學習與數據分析挖掘工具MLlib
7.大數據(ju)分(fen)析(xi)挖掘項(xiang)目(mu)的實(shi)施步(bu)驟配置數據(ju)倉庫(ku)工具(ju)HadoopHive和SparkSQL部署(shu)數據(ju)分(fen)析(xi)挖掘工具(ju)HadoopMahout和SparkMLlib

大數據分析挖掘項目的數據集成操作訓練
1.日志數據解析和導入導出到數據倉庫的操作訓練
2.從原始搜索數據集中抽取、集成數據，整理后形成規范的數據倉庫
3.數據分析挖掘模塊從大型的集中式數據倉庫中訪問數據，一個數據倉庫面向一個主題，構建兩個數據倉庫
4.同一個數據倉庫中的事實表數據，可以給多個不同類型的分析挖掘任務調用
5.去除噪聲項目數據集加載ETL到HadoopHive數據倉庫并建立多維模型基于Hadoop的大型數據倉庫管理平臺—HIVE數據倉庫集群的多維分析建模應用實踐
6.基于Hadoop的大型分布式數據倉庫在行業中的數據倉庫應用案例
7.Hive數據倉庫集群的平臺體系結構、核心技術剖析
8.HiveServer的工作原理、機制與應用
9.Hive數據倉庫集群的安裝部署與配置優化
10.Hive應用(yong)開發技巧

11.HiveSQL剖析與應用實踐
12.Hive數據倉庫表與表分區、表操作、數據導入導出、客戶端操作技巧
13.Hive數據倉庫報表設計
14.將原始的日志數據集，經過整理后，加載至Hadoop+Hive數據倉庫集群中，用于共享訪問利用HIVE構建大型數據倉庫項目的操作訓練實踐
Spark大數據分析挖掘平臺實踐操作訓練
15.Spark大數據分析挖掘平臺的部署配置
16.Spark數據分析庫MLlib的開發部署
17.Spark數據分析挖掘示例操作，從Hive表中讀取數據并在分布式內存中運行
聚類(lei)分(fen)析建模與挖掘算法的(de)實現原理和技(ji)術(shu)應(ying)用

18.聚類分析建模與算法原理及其在SparkMLlib中的實現與應用，包括：a)Canopy聚類（canopyclustering）b)K均值算法（K-meansclustering）c)模糊K均值（FuzzyK-meansclustering）d)EM聚類，即期望*化聚類（ExpectationMaximization）e)以上算法在SparkMLib中的實現原理和實際場景中的應用案例。
19.Spark聚類分析算法程序示例基于SparkMLlib的聚類分析算法，實現日志數據集中的用戶聚類
分類分析建模與挖掘算法的實現原理和技術應用
20.分類分析建模(mo)與(yu)算(suan)法原理及(ji)其(qi)在SparkMLlib中(zhong)(zhong)的實(shi)現(xian)與(yu)應用，包括：f)Spark決策樹(shu)算(suan)法實(shi)現(xian)g)邏(luo)輯回歸算(suan)法（logisticsregression）h)貝葉斯算(suan)法（Bayesian與(yu)Cbeyes）i)支(zhi)持向量機（Supportvectormachine）j)以上(shang)算(suan)法在SparkMLlib中(zhong)(zhong)的實(shi)現(xian)原理和實(shi)際(ji)場景中(zhong)(zhong)的應用案例(li)。

21.Spark客戶資料分析與給用戶貼標簽的程序示例
22.Spark實現給商品貼標簽的程序示例
23.Spark實現用戶行為的自動標簽和深度技術基于SparkMLlib的分類分析算法模型與應用操作
關聯分析建模與挖掘算法的實現原理和技術應用
24.預測、推薦分析建模與算法原理及其在SparkMLlib中的實現與應用，包括：k)Spark頻繁模式挖掘算法（parallelFPGrowthAlgorithm）應用l)Spark關聯規則挖掘（Apriori）算法及其應用m)以上算法在SparkMLib中的實現原理和實際場景中的應用案例。
25.Spark關聯分析程序示例基于SparkMLlib的關聯分析操作
推薦分析(xi)挖掘模型與算法技術應用

26.推薦算法原理及其在SparkMLlib中的實現與應用，包括：a)Spark協同過濾算法程序示例b)Item-based協同過濾與推薦c)User-based協同過濾與推薦d)交叉銷售推薦模型及其實現推薦分析實現步驟與操作（重點）
回歸分析模型與預測算法
27.利用線性回歸（多元回歸）實現訪問量預測
28.利用非線性回歸預測成交量和訪問量的關系
29.基于R+Spark實現回歸分析模型及其應用操作
30.Spark回歸程序實現異常點檢測的程序示例回歸分析預測操作例子
圖關系建模與分(fen)析(xi)挖(wa)掘及其鏈接分(fen)析(xi)和社(she)交(jiao)分(fen)析(xi)操作

31.利用SparkGraphX實現網頁鏈接分析，計算網頁重要性排名
32.實現信息傳播的社交關系傳遞分析，互聯網用戶的行為關系分析任務的操作訓練圖數據的分析挖掘操作，實現微博數據集的社交網絡建模與關系分析
神經網絡與深度學習算法模型及其應用實踐
33.神經網絡算法NeuralNetwork的實現方法和挖掘模型應用
34.基于人工神經網絡的深度學習的訓練過程a)傳統神經網絡的訓練方法b)DeepLearning的訓練方法
35.深度學習的常用模型和方法a)CNN（ConvolutionalNeuralNetwork）卷積神經網絡b)RNN（RecurrentNeuralNetwork）循環神經網絡模型c)RestrictedBoltzmannMachine(RBM)限制波爾茲曼機
36.基于Spark的深度學習算法模型庫的應用程序示例基于Spark或TensorFlow神經網絡深度學習庫實現文本與圖片數據挖掘
項目實踐

37.日志分析系統與日志挖掘項目實踐a)Hadoop，Spark，ELK技術構建日志數據倉庫b)互聯網微博日志分析系統項目
38.推薦系統項目實踐a)電影數據分析與個性化推薦關聯分析項目項目數據集和詳細的實驗指導手冊由講師提供培訓總結
39.項目方案(an)的課堂討(tao)論(lun)，討(tao)論(lun)實(shi)際業(ye)務中的分析(xi)需(xu)求，剖(pou)析(xi)各個環(huan)節的難點(dian)、痛點(dian)、瓶頸，啟發出解決之道；完成講師布置的項目案(an)例，鞏固學(xue)過的大數(shu)據分析(xi)挖掘處理(li)平臺技術(shu)知識(shi)以及應用技能討(tao)論(lun)交流(liu)

Python機器學習培訓內容
模塊一機器學習的數學基礎1-數學分析
1.機器學習的一般方法和橫向比較
2.數學是有用的：以SVD為例
3.機器學習的角度看數學
4.復習數學分析
5.直觀解釋常數e
6.導數/梯度
7.隨機梯度下降
8.Taylor展式的落地應用
9.gini系數
10.凸函數
11.Jensen不等式
12.組合數與信息熵(shang)的關系

模塊二：機器學習的數學基礎2-概率論與貝葉斯先驗
1.概率論基礎
2.古典概型
3.貝葉斯公式
4.先驗分布/后驗分布/共軛分布
5.常見概率分布
6.泊松分布和指數分布的物理意義
7.協方差(矩陣)和相關系數
8.獨立和不相關
9.大數定律和中心極限定理的實踐意義
10.深刻理解*似然估計MLE和*后驗估計MAP
11.過擬合的數學原理與(yu)解決(jue)方案

模塊三：機器學習的數學基礎3-矩陣和線性代數
1.線性代數在數學科學中的地位
2.馬爾科夫模型
3.矩陣乘法的直觀表達
4.狀態轉移矩陣
5.矩陣和向量組
6.特征向量的思考和實踐計算
7.QR分解
8.對稱陣、正交陣、正定陣
9.數據白化及其應用
10.向量對向量求導
11.標量對向量求導
12.標量對矩陣求導工作(zuo)機制

模塊四：Python基礎1-Python及其數學庫
1.解釋器Python2.7與IDE：Anaconda/Pycharm
2.Python基礎：列表/元組/字典/類/文件
3.Taylor展式的代碼實現
4.numpy/scipy/matplotlib/panda的介紹和典型使用
5.多元高斯分布
6.泊松分布、冪律分布
7.典型圖像處理
8.蝴蝶效應
9.分(fen)形與(yu)可視化

模塊五：Python基礎2-機器學習庫
1.scikit-learn的介紹和典型使用
2.損失函數的繪制
3.多種數學曲線
4.多項式擬合
5.快速傅里葉變換FFT
6.奇異值分解SVD
7.Soble/Prewitt/Laplacian算子與卷積網絡
8.卷積與(指數)移動平均線
9.股票(piao)數據分析

模塊六：Python基礎3-數據清洗和特征選擇
1.實際生產問題中算法和特征的關系
2.股票數據的特征提取和應用
3.一致性檢驗
4.缺失數據的處理
5.環境數據異常檢測和分析
6.模糊數據查詢和數據校正方法、算法、應用
7.樸素貝葉斯用于鳶尾花數據
8.GaussianNB/MultinomialNB/BernoulliNB
9.樸素貝葉斯用(yong)于18000+篇/Sogou新聞文本的分類

模塊七：回歸
1.線性回歸
2.Logistic/Softmax回歸
3.廣義線性回歸
4.L1/L2正則化
5.Ridge與LASSO
6.ElasticNet
7.梯度下降算法：BGD與SGD
8.特征選擇(ze)與過(guo)擬合(he)

模塊八：Logistic回歸
1.Sigmoid函數的直觀解釋
2.Softmax回歸的概念源頭
3.Logistic/Softmax回歸
4.*熵模型
5.K-L散度
6.損失函數
7.Softmax回歸的(de)實(shi)現(xian)與調參(can)

模塊九：回歸實踐
1.機器學習sklearn庫介紹
2.線性回歸代碼實現和調參
3.Softmax回歸代碼實現和調參
4.Ridge回歸/LASSO/ElasticNet
5.Logistic/Softmax回歸
6.廣告投入與銷售額回歸分析
7.鳶尾花數據集的分類
8.交叉驗證
9.數據可視化

模塊十：決策樹和隨機森林
1.熵、聯合熵、條件熵、KL散度、互信息
2.*似然估計與*熵模型
3.ID3、C4.5、CART詳解
4.決策樹的正則化
5.預剪枝和后剪枝
6.Bagging
7.隨機森林
8.不平衡數據集的處理
9.利用隨機森林做特征選擇
10.使用隨機森林計算樣本相似度
11.數據異常值(zhi)檢測(ce)

模塊十一：隨機森林實踐
1.隨機森林與特征選擇
2.決策樹應用于回歸
3.多標記的決策樹回歸
4.決策樹和隨機森林的可視化
5.葡萄酒數據集的決策樹/隨機森林分類
6.波士頓(dun)房價預測

模塊十二：提升
1.提升為什么有效
2.梯度提升決策樹GBDT
3.XGBoost算法詳解
4.Adaboost算法
5.加法模型與指數損失

模塊十三：提升實踐
1.Adaboost用于蘑菇數據分類
2.Adaboost與隨機森林的比較
3.XGBoost庫介紹
4.Taylor展式與學習算法
5.KAGGLE簡介
6.泰坦尼克乘客存活率估計

模塊十四SVM
1.線性可分支持向量機
2.軟間隔的改進
3.損失函數的理解
4.核函數的原理和選擇
5.SMO算法
6.支(zhi)持向(xiang)量回歸SVR

模塊十五：SVM實踐
1.libSVM代碼庫介紹
2.原始數據和特征提取
3.葡萄酒數據分類
4.數字圖像的手寫體識別
5.SVR用于時間序列曲線預測
6.SVM、Logistic回歸、隨機森林(lin)三者的橫向(xiang)比(bi)較(jiao)

模塊十六：聚類（一）
1.各種相似度度量及其相互關系
2.Jaccard相似度和準確率、召回率
3.Pearson相關系數與余弦相似度
4.K-means與K-Medoids及變種
5.AP算(suan)法(Sci07)/LPA算(suan)法及其應用(yong)

模塊十七：聚類（二）
1.密度聚類DBSCAN/DensityPeak(Sci14)
2.DensityPeak(Sci14)
3.譜聚類SC
4.聚類評價AMI/ARI/Silhouette
5.LPA算法及其應用

模塊十八：聚類實踐
1.K-Means++算法原理和實現
2.向量量化VQ及圖像近似
3.并查集的實踐應用
4.密度聚類的代碼實現
5.譜(pu)聚(ju)類用(yong)于圖片(pian)分(fen)割

模塊十九：EM算法
1.*似然估計
2.Jensen不等式
3.樸素理解EM算法
4.*推導EM算法
5.EM算法的深入理解
6.混合高斯分布
7.主題模型pLSA

模塊二十：EM算法實踐
1.多元高斯分布的EM實現
2.分類結果的數據可視化
3.EM與聚類的比較
4.Dirichlet過程EM
5.三維及等高線等圖件的繪制
6.主題模(mo)型(xing)pLSA與EM算法

模塊二十一：主題模型LDA
1.貝葉斯學派的模型認識
2.Beta分布與二項分布
3.共軛先驗分布
4.Dirichlet分布
5.Laplace平滑
6.Gibbs采樣詳解

模塊二十二LDA實踐
1.網絡爬蟲的原理和代碼實現
2.停止詞和高頻詞
3.動手自己實現LDA
4.LDA開源包的使用和過程分析
5.Metropolis-Hastings算法
6.MCMC
7.LDA與word2vec的比較
8.TextRank算法與實踐

模塊二十三：隱馬爾科夫模型HMM
1.概率計算問題
2.前向/后向算法
3.HMM的參數學習
4.Baum-Welch算法詳解
5.Viterbi算法詳解
6.隱馬(ma)爾科夫模型(xing)的應用優劣比較

模塊二十四：HMM實踐
1.動手自己實現HMM用于中文分詞
2.多個語言分詞開源包的使用和過程分析
3.文件數據格式UFT-8、Unicode
4.停止詞和標點符號對分詞的影響
5.前向后向算法計算概率溢出的解決方案
6.發現新詞和分詞效果分析
7.高斯混合模型HMM
8.GMM-HMM用于股(gu)票(piao)數據特征提取

模塊二十五：課堂提問與互動討論

五、師資介紹
張老師：阿里(li)大(da)(da)(da)數(shu)據(ju)(ju)(ju)高級專(zhuan)家(jia)(jia)，國(guo)內資深的(de)Spark、Hadoop技(ji)術(shu)專(zhuan)家(jia)(jia)、虛(xu)擬化專(zhuan)家(jia)(jia)，對HDFS、MapReduce、Hbase、Hive、Mahout、Storm、spark和(he)openTSDB等(deng)Hadoop生態系(xi)統(tong)(tong)中的(de)技(ji)術(shu)進行了多年(nian)的(de)深入的(de)研究，更主要的(de)是這(zhe)些技(ji)術(shu)在大(da)(da)(da)量的(de)實(shi)際項(xiang)(xiang)目(mu)(mu)中得到廣(guang)泛的(de)應(ying)用，因此在Hadoop開發和(he)運維方面(mian)積(ji)累了豐富的(de)項(xiang)(xiang)目(mu)(mu)實(shi)施(shi)經驗(yan)。近(jin)年(nian)主要典型的(de)項(xiang)(xiang)目(mu)(mu)有(you)：某(mou)(mou)電(dian)信(xin)集團網(wang)絡優(you)化、中國(guo)移動某(mou)(mou)省移動公(gong)司(si)請賬單系(xi)統(tong)(tong)和(he)某(mou)(mou)省移動詳單實(shi)時查詢系(xi)統(tong)(tong)、中國(guo)銀(yin)聯大(da)(da)(da)數(shu)據(ju)(ju)(ju)數(shu)據(ju)(ju)(ju)票(piao)據(ju)(ju)(ju)詳單平(ping)臺(tai)(tai)、某(mou)(mou)大(da)(da)(da)型銀(yin)行大(da)(da)(da)數(shu)據(ju)(ju)(ju)記錄系(xi)統(tong)(tong)、某(mou)(mou)大(da)(da)(da)型通信(xin)運營商全國(guo)用戶上網(wang)記錄、某(mou)(mou)省交通部門(men)違(wei)章系(xi)統(tong)(tong)、某(mou)(mou)區域醫療大(da)(da)(da)數(shu)據(ju)(ju)(ju)應(ying)用項(xiang)(xiang)目(mu)(mu)、互聯網(wang)公(gong)共(gong)數(shu)據(ju)(ju)(ju)大(da)(da)(da)云(DAAS)和(he)構(gou)建游戲云(WebGameDaas)平(ping)臺(tai)(tai)項(xiang)(xiang)目(mu)(mu)等(deng)。

六、頒發證書
參加相關培訓并通過考試的學員，可以獲得：
工業和信息化(hua)部頒發的(de)-《大(da)數據(ju)工程師證(zheng)書》。該證(zheng)書可作為專業技(ji)術人(ren)員職(zhi)(zhi)業能力考核(he)的(de)證(zheng)明，以(yi)及專業技(ji)術人(ren)員崗位聘用、任職(zhi)(zhi)、定級(ji)和晉升職(zhi)(zhi)務的(de)重要依據(ju)。注：請(qing)學(xue)員帶一(yi)寸彩照2張（背(bei)面注明姓名）、身份證(zheng)復印件一(yi)張。

全國高校大數據（Hadoop、spark、Python）師資培訓