高并發高性能大容量數據庫設計培訓
講師:尹立慶 瀏(liu)覽(lan)次數:2549
課(ke)程描述INTRODUCTION
大容量數據庫設計
日程安排(pai)SCHEDULE
課程大綱Syllabus
大容量數據庫設計
培訓目標
1、 本課程介紹高并發高性能大容量分布式數據庫系統,包括高并發高性能大容量數據庫設計原理、部署方法、優缺點和應用模式等;
2、 本課程介紹數據存儲架構,包括數據分片、弱的事務、分布式一致性協議算法、強一致性、平滑無限水平擴展節點的分布式數據庫;
3、 介紹較新的高并發系統分布式緩存集群設計,代表產品有阿里的HBase、Redis、Redis Cluster,并且目前都已經在互聯網場景進行了實踐,取得了不錯的效果;
4、 本課程介紹NoSQL原理及分類及使用,這些產品的原理、性能、實踐、多個維度對比等方面進行有針對性的剖析,為企業的技術升級做準備。
培訓對象
1、 本課程適合于高并發高性能大容量數據庫設計應用人員;
2、 適合于互聯網、金融機構等分布式數據庫使用人員;
3、 適合于大數據、人工智能、數據挖掘人員;
課程大綱
第1個主題: 高并發高性能大容量數據庫設計(介紹當前主流的高并發高性能大容量數據庫設計原理、部署方法、優缺點和應用模式)
1、 業界主流的高并發高性能大容量數據庫有哪些
2、 高并發高性能大容量數據庫的應用場景
a) 大數據非結構化數據的應用場景
b) 大數據歷史明細查詢的應用場景
c) 秒殺高并發的應用場景
d) 實時高并發業務的應用場景
e) 在線實時統計分析的應用場景
3、 高并發高性能大容量數據庫的具體應用案例
a) 分布式內存庫在運營商話單詳單查詢系統中的應用
b) 分布式內存庫在金融行業流水業務查詢系統中的應用
c) 分布式內存庫在微博自媒體業務中應用
4、 高并發高性能大容量數據庫設計原理
5、 高并發高性能大容量數據庫部署方法
6、 高并發高性能大容量數據庫優缺點
7、 高并發高性能大容量數據庫應用模式
8、 分布式內存庫的特性
9、 CAP理論
10、 BASE思想
11、 RWN理論
12、 分布式關系型內存庫
a) MySQL Cluster
13、 分布式NoSQL列式內存庫
a) HBase
b) Cassandra
c) GemFire
14、 分布式文檔內存庫
a) MongoDB
15、 高并發系統分布式緩存集群
a) HBase
b) Redis Cluster
16、 案例:GemFire在實時交易系統12306的使用案例分享
第2個主題: NoSQL原理及分類及使用(深入剖析NoSQL原理及分類及使用)
1、 什么是NoSQL
2、 NoSQL基礎概念
3、 NoSQL種類與特點
4、 NoSQL原理
5、 NoSQL數據庫架構
6、 NoSQL分類
7、 NoSQL使用
8、 內存數據庫
9、 內存數據庫原理
10、 內存數據庫優劣勢剖析
11、 單機NoSQL數據庫
12、 分布式NoSQL數據庫
13、 典型的NoSQL數據庫
14、 實例分享:NoSQL數據庫案例剖析
第3個主題: Redis基礎知識(詳細介紹Redis基礎知識)
1、 Redis簡介
2、 Redis安裝部署
3、 Redis配置詳解
4、 客戶端
5、 Redis Key類型
6、 Redis String類型
7、 Redis Hash類型
8、 Redis Set類型和ZSet類型
9、 Redis List類型
10、 Redis Key超時機制
11、 Redis 持久化
12、 Redis副本
13、 Redis常用命令介紹
第4個主題: 高并發系統分布式緩存集群設計(深入介紹高并發系統分布式緩存集群設計)
1、 Redis數據庫原理
2、 Redis數據庫應用
3、 Redis開發實踐(倒排索引)
4、 Redis開發調試
5、 Redis優化
6、 Redis發布訂閱機制剖析
7、 Redis集群搭建
8、 Codis介紹
9、 Codis整體設計
10、 Codis架構
11、 Codis組件介紹
第5個主題: Redis高級管理(深入介紹Redis的高級管理功能)
1、 Redis安全
2、 Redis加密
3、 Redis信號處理
4、 Redis連接管理
5、 Redis高可用方案
6、 Redis監測
7、 Redis Benchmarks
第6個主題: HBase查詢的優化(深入剖析大數據分布式NoSQL技術及原理,并指導學員如何進行調優)
1、 HBase介紹
2、 HBase應用
3、 HBase的特點
4、 HBase邏輯模型
5、 HBase列族與列
6、 HBase時間戳
7、 行式數據庫 vs 列式數據庫
8、 HBase物理模型
9、 HBase集群部署優化方案介紹:HBase集群建立時的優化方法
10、 倒排索引
11、 HBase調優課堂實戰案例:假如知道每天的活躍用戶為一個集合,如何快速計算自定義時間段內的活躍用戶?需要去重的
12、 HBase分頁查詢方案介紹:是否有合適的分頁查詢方法?
13、 HBase按條件快速查詢方案介紹:假如rowkey的設計原則是:地區+廠家+拍照方+id+時間戳,如何快速的查找一個id一天的所有存儲記錄?如何快速查找按地區、廠商、拍照方、自定義時間段內自由排列組合的所有存儲記錄?
14、 HBase Filter 15、 HBase Coprocessor
第7個主題: MongoDB文檔數據庫(深入剖析MongoDB文檔數據庫功能與項目應用)
1、 什么是MongoDB
2、 MongoDB發展現狀與趨勢
3、 介紹MongoDB基礎概念
4、 MongoDB架構剖析
5、 MongoDB文檔與集合
6、 MongoDB集群搭建
7、 MongoDB狀態監控
8、 MongoDB安全認證
9、 MongoDB備份和恢復
10、 MongoDB Shell操作
11、 MongoDB數據類型
12、 文檔的增加、修改與刪除
13、 Java訪問MongoDB文檔的調試
14、 MongoDB查詢介紹
15、 MongoDB MapReduce統計分析
16、 MongoDB索引
17、 MongoDB性能優化
18、 MongoDB主從復制
19、 MongoDB Sharding分片
20、 Spark操作MongoDB項目案例:運營商話務數據分析案例剖析
第8個主題: MongoDB文檔數據庫(深入剖析MongoDB文檔數據庫功能與項目應用)
1、 MongoDB架構剖析
2、 MongoDB文檔與集合
3、 MongoDB集群搭建
4、 Java訪問MongoDB文檔的調試
5、 MongoDB查詢調優
6、 提高讀寫速度的優化
7、 MongoDB MapReduce統計分析
8、 MongoDB索引
9、 MongoDB性能優化
10、 內存的優化方法
11、 MongoDB主從復制
12、 MongoDB Sharding分片
13、 MongoDB副本集、分片集群優化案例:Mongodb副本集、分片集群建立的優化方法?
14、 MongoDB優化方案剖析:為什么分片測試讀寫的速度比副本集要慢?
第9個主題: 關系型分布式內存庫MySQL Cluster(深入剖析關系型分布式內存庫MySQL Cluster數據庫功能與實現原理)
1、 什么是MySQL Cluster
2、 MySQL Cluster發展現狀與趨勢
3、 介紹MySQL Cluster基礎概念
4、 MySQL Cluster架構剖析
5、 NDB Cluster存儲引擎
6、 無共享體系結構
7、 管理(MGM)節點
8、 數據節點
9、 SQL節點
10、 標準MySQL客戶端
11、 MySQL Cluster應用場景
12、 案例分享:MySQL Cluster在電商平臺中的應用
第10個主題: 數據存儲架構(介紹數據存儲架構)
1、 數據存儲架構
2、 數據單機版存儲架構
3、 數據分布式存儲架構
4、 中心集群
5、 去中心化集群
6、 關系型數據庫
7、 層次數據存儲架構
8、 網狀數據存儲架構
9、 行式數據存儲架構
10、 行式數據庫原理
11、 行式數據庫架構
12、 關系型數據庫理論
13、 RDBMS
14、 行式數據庫優劣勢剖析
15、 列式數據存儲架構
16、 列式數據庫
17、 列式數據庫原理
18、 日志結構文件系統
19、 列式數據庫架構
20、 列式數據庫優劣勢剖析
第11個主題: 分布式事務(介紹分布式事務)
1、 強事務ACID
2、 弱一致性、強一致性
3、 分布式事務
4、 兩步提交、三步提交
5、 分布式技術的存儲、計算、算法、開發等能力的完美結合
6、 弱事務
7、 數據的強一致性
8、 分布式一致性協議算法
9、 平滑無限水平擴展節點
10、 深入分析企業業務數據特點
11、 思想的應用
12、 事務剖析
13、 分布式事務剖析
14、 分布式系統的職責分離思想
15、 CAP理論
16、 BASE思想
17、 RWN原理
18、 事務的特征ACID
19、 弱一致性事務
20、 強一致性事務
21、 分布式事務
22、 兩階段提交
23、 三階段提交
24、 數據庫事務隔離標準分析
25、 ANSI事務隔離級別
26、 P1 臟讀(“Dirty read”)
27、 P2 不可重復讀(“Non-repeatable read”)
28、 P3 幻讀(“Phantom”)
29、 基于鎖的事務隔離
30、 基于快照的事務隔離
31、 兩階段提交(2 Phase Commit簡稱2PC)協議
32、 產品應用案例
大容量數據庫設計
轉載://citymember.cn/gkk_detail/253082.html
已開課時間Have start time
- 尹立慶
[僅限會員]
IT相關內訓
- 大模型技術與應用培訓 葉梓(zi)
- IT崗位數智化能力提升路徑 甄文智
- 軟件安全意識加強與技能提高 張勝生
- 網安管理崗培訓 張勝生
- 信息安全風險評估與加固技能 張勝(sheng)生
- Fine BI 數據分析與 張曉如
- 互聯網新技術在銀行的應用 武威(wei)
- 電力信息化:價值和建設分析 劉宇佳
- CISSP認證培訓課程 張勝生
- 滲透測試與攻防實戰高級課程 張勝(sheng)生(sheng)
- Python高效辦公自動化 張曉(xiao)如
- 云計算的應用領域和實踐 武威