国产极品粉嫩福利姬萌白酱_伊人WWW22综合色_久久精品a一国产成人免费网站_法国啄木乌AV片在线播放

Python數據建模

【課程目標】
   本課程主要講解如何利用Python進行數據建模，建立數學模型，來擬合業務的各個要素之間的關系，來模擬業務的未來發展和變化。
   基于真實的業務問題，在數據建模的標準過程指導下，從模型選擇到特征工程，從訓練模型到算法實現，從模型評估到模型優化，再到模型解讀及模型應用，帶領大家一步步實現一個回歸預測模型。
通過本課程的學習，達到如下目的：
1、掌握數據建模的標準流程。
2、掌握數據預處理常用的方法，包括特征篩選、變量合并等。
3、掌握回歸模型的原理，以及算法實現。
4、熟練使用模型的評估指標，評估方法，以及過擬合的評估。
5、掌握模型優化的基本措施，學會欠擬合的解決方法。
6、學會過擬合評估，學會使用有正則項來解決過擬合問題。
7、熟練使用sklearn庫的常用回歸類。
8、學會超參(can)優化(hua)的常用方(fang)法，能(neng)夠設置(zhi)最優超參(can)。

【授課對象】
業(ye)務支持部(bu)、數(shu)據分(fen)析部(bu)、系統設(she)計部(bu)、系統開發部(bu)、網(wang)絡運維部(bu)等相關技術人員。

【課程大綱】
一、預測建模基礎
1、數據建模六步法
－選擇模型：基于業務選擇恰當的數據模型
－屬性篩選：選擇對目標變量有顯著影響的屬性來建模
－訓練模型：采用合適的算法，尋找到最合適的模型參數
－評估模型：進行評估模型的質量，判斷模型是否可用
－優化模型：如果評估結果不理想，則需要對模型進行優化
－應用模型：如果評估結果滿足要求，則可應用模型于業務場景
2、數據挖掘常用的模型
－數值預測模型：回歸預測、時序預測等
－分類預測模型：邏輯回歸、決策樹、神經網絡、支持向量機等
－市場細分：聚類、RFM、PCA等
－產品推薦：關聯分析、協同過濾等
－產品優化：回歸、隨機效用等
－產品定價：定價策略/最優定價等
3、屬性篩選/特征選擇/變量降維
－基于變量本身特征
－基于相關性判斷
－因子合并（PCA等）
－IV值篩選（評分卡使用）
－基于信息增益判斷（決策樹使用）
4、訓練模型及實現算法
－模型原理
－算法實現
5、模型評估
－評估指標
－評估方法
－過擬合評估
6、模型優化
－優化模型：選擇新模型/修改模型
－優化數據：新增顯著自變量
－優化公式：采用新的計算公式
7、模型應用
－模型解讀
－模型部署
－模型應用
8、好模型是優化出來的
二、回歸模型評估
1、三個基本概念：SST、SSR、SSE
2、三個方面評估：指標、方法、過擬合
3、擬合程度指標
－簡單判定系數：
－調整判定系數：
4、預測值誤差指標
－平均*誤差：MAE
－根均方差：RMSE
－平均*誤差率：MAPE
5、信息損失準則指標
－赤池信息準則：AIC
－貝葉斯信息準則：BIC
－HQ信息準則：HQIC
6、評估方法
－原始評估法
－留出法（Hold-Out）
－交叉驗證法（k-fold cross validation）
－自助采樣法（Bootstrapping）
7、其它評估
－過擬合評估：學習曲線
－殘差評估：白噪聲評估
三、影響因素分析
問題：如何選擇合適的屬性來進行建模預測？如何做特征選擇/特征降維？
1、屬性篩選/變量降維的常用方法
2、影響因素分析常用方法
－相關分析
－方差分析
－卡方檢驗
3、相關分析（衡量變量間的線性相關性）
問題：這兩個屬性是否會相互影響？影響程度大嗎？
－相關分析簡介
－相關分析的三個種類
－簡單相關分析
－偏相關分析
－相關系數的三種計算公式
－Pearson相關系數
－Spearman相關系數
－Kendall相關系數
－相關分析的假設檢驗
－相關分析的四個基本步驟
演練：體重與腰圍的關系
演練：營銷費用會影響銷售額嗎
演練：網齡與消費水平的關系
－偏相關分析
－偏相關原理：排除不可控因素后的兩變量的相關性
－偏相關系數的計算公式
－偏相關分析的適用場景
4、方差分析(衡量類別變量與數據變量的相關性)
問題：哪些才是影響銷量的關鍵因素？主要因素是哪些？次要因素是哪些？
－方差分析的應用場景
－方差分析原理
－方差分析前提：齊性檢驗
－方差分析的三個種類
－單因素方差分析
－多因素方差分析
－協方差分析
－方差分析的四個步驟
－分析結果解讀要點
演練：終端擺放位置與終端銷量有關嗎
演練：客戶學歷對消費水平的影響分析
演練：廣告形式和價格是影響終端銷量的關鍵因素嗎
演練：營業員的性別、技能級別對產品銷量有影響嗎
演練：尋找影響產品銷量的關鍵因素
－多因素方差分析原理
－多因素方差分析的作用
－多因素方差結果的解讀
演練：廣告形式、地區對銷量的影響因素分析
－協方差分析原理
－協方差分析的適用場景
演練：排除收入后，網齡對消費水平的影響大小分析
5、列聯分析/卡方檢驗（兩類別變量的相關性分析）
－卡方檢驗應用場景
－交叉表與列聯表
－計數值與期望值
－卡方檢驗的原理
－卡方檢驗的幾個計算公式
－列聯表分析的適用場景
案例：套餐類型對客戶流失的影響分析
案例：學歷對業務套餐偏好的影響分析
案例：行業/規模對風控的影響分析
6、屬性重要程度排序/篩選
7、主成份分析（PCA）
－因子分析的原理
－因子個數如何選擇
－如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
四、線性回歸模型
問題：如何預測產品的銷量/銷售金額？
1、常用數值預測的模型
－通用預測模型：回歸模型
2、線性回歸應用場景
3、線性回歸模型種類
－一元線性回歸
－多元線性回歸
4、線性回歸建模過程
5、帶分類變量的回歸建模
6、回歸模型的質量評估
7、回歸方程的解讀
五、回歸算法實現
1、基本概念
－損失函數
2、普通最小二乘法OLS
－數學推導
－OLS存在的問題
3、梯度下降算法
－梯度概念
－梯度下降/上升算法
－批量梯度/隨機梯度/小批量梯度
－學習率的影響
－早期停止法
4、牛頓法/擬牛頓法
－泰勒公式(Taylor)
－牛頓法(Newton)
－擬牛頓法(Quasi-Newton)的優化
－DFP/BFGS/L-BFGS
5、算法比較-優缺點
六、回歸模型優化
6、回歸分析的基本原理
－三個基本概念：總變差、回歸變差、剩余變差
－方程的顯著性檢驗：是否可以做回歸分析？
－因素的顯著性檢驗：自變量是否可用？
－擬合優度檢驗：回歸模型的質量評估？
－理解標準誤差的含義：預測的準確性？
7、欠擬合解決：多項式回歸
－剔除離群值
－剔除非顯著因素
－非線性關系檢驗
－相互作用檢驗
－共線性檢驗
－檢驗誤差項
案例：銷量預測模型優化示例
8、過擬合解決：正則項
－嶺回歸（Ridge）
－套索回歸（Lasso）
－彈性網絡回歸（ElasticNet）
9、超參優化
－手工遍歷cross_val_score
－交叉驗證RidgeCV/LassCV/ElasticNetCV
－網格搜索GridSearchCV
－隨機搜索RandomizedSearchCV
七、自定義模型
1、自定義回歸模型
2、模型參數最優法方法
－全局優化/暴力破解brute
－局部優化fmin
－有約束優化minimize
3、好模型都是優化出來的
案例：餐廳客流量進行建模及模型優化
4、基于回歸季節模型
－季節性回歸模型的參數
－相加模型
－相乘模型
－模型解讀/模型含義
案例：*航空旅客里程的季節性趨勢分析
5、新產品預測與S曲線
－產品累計銷量的S曲線模型
－如何評估銷量增長的上限以及拐點
－珀爾曲線
－龔鉑茲曲線
案例：預測IPAD的銷售增長拐點，以及銷量上限
八、案例實戰
1、客戶消費金額預測模型
2、房(fang)價預(yu)測模型及優(you)化

結束：課程總結與問題答疑。

Python數據建模