課程描述INTRODUCTION
自然(ran)語言處理(簡稱 NLP)是計算機(ji)科學(xue)(xue)(xue)和人(ren)工智能研究的(de)(de)(de)一(yi)個重(zhong)要方向,研究計算機(ji)和理解和運(yun)用(yong)人(ren)類語言進行交(jiao)互的(de)(de)(de)問(wen)題,它是集語言學(xue)(xue)(xue)、機(ji)器(qi)學(xue)(xue)(xue)習(xi)、統計學(xue)(xue)(xue)、大數據于一(yi)體(ti)的(de)(de)(de)綜合學(xue)(xue)(xue)科。 本課程主要介(jie)(jie)紹(shao)了(le)NLP中的(de)(de)(de)常用(yong)知(zhi)識點(dian):分(fen)詞、詞法(fa)分(fen)析(xi)、句法(fa)分(fen)析(xi)、向量化方法(fa)、經典的(de)(de)(de)NLP機(ji)器(qi)學(xue)(xue)(xue)習(xi)算法(fa),還重(zhong)點(dian)介(jie)(jie)紹(shao)了(le)NLP中最近兩年來(lai)基于大規模語料預訓練的(de)(de)(de)詞嵌(qian)入模型及應(ying)(ying)用(yong)。同時本課程偏重(zhong)于實戰,不(bu)僅(jin)系統地介(jie)(jie)紹(shao)了(le) NLP的(de)(de)(de)知(zhi)識點(dian),還講解如何實際應(ying)(ying)用(yong)和開發,每章節都有相應(ying)(ying)的(de)(de)(de)實戰代(dai)碼。
日程安(an)排(pai)SCHEDULE
課程(cheng)大綱Syllabus
NLP實戰
第一天:傳統的NLP
一、NLP基礎知識
1、自然語言處理簡介
2、中文NLP的主要任務
3、常見的NLP系統
4、NLP的研究機構與資源
二、中文分詞
1、基于字符串匹配的分詞
2、統計分詞法與分詞中的消歧
3、命名實體識別
4、常用分詞工具:JIEBA
三、文本的相似性
1、VSM
2、TF-IDF
3、初步情感分析
四、隱馬爾科夫模型
1、形式化定義
2、三個問題
3、評估問題與向前向后算法
4、解碼問題:維特比算法
5、學習問題:Baum-Welch算法
五、條件隨機場
1、*熵原理
2、無向圖模型
3、*團上的勢函數
4、工具(ju):CRF++
第二天:從傳統到現代
一、從LSA到LDA
1、LSA與SVD分解
2、pLSA
3、LDA
二、神經網絡語言模型
1、維數的詛咒
2、n-gram語言模型
3、NNLM的具體實現
4、改進的思路
三、word2vec
1、one-hot與Distributed
2、CBOW
3、skip-gram
4、Hierachical Softmax
5、Negative Sampling
四、循環神經網絡(RNN)
1、RNN的基礎架構
2、RNN的示例
3、LSTM
4、GRU
第三天:預訓練模型之一(變形金剛、芝麻街、獨角獸及其他)
一、GloVe
1、與word2vec的區別
2、統計共現矩陣
3、用GloVe訓練詞向量
二、Transformer
1、所有你需要的僅僅是“注意力”
2、Transformer中的block
3、自注意力與多頭注意力
4、位置編碼(為什么可以拋棄RNN)
三、三大特征抽取器的比較
1、CNN、RNN與Transformer的比較
2、融合各種模型
四、Elmo
1、雙向語言模型
2、工作原理
3、Elmo的應用場景
五、GPT
1、“一定會有人用它干壞事”
2、GPT的內部架構
3、Transformer的演示
4、自注意力機制的改進
5、GPT的應(ying)用場景
第四天:預訓練模型之二(站上BERT的肩頭)
一、BERT的前世今生
1、之前介紹的模型回顧
2、現代NLP的*應用場景
3、條條大路通BERT
二、BERT詳解
1、原理與方法
2、BERT的應用場景
3、BERT源碼簡介
三、站在BERT肩膀上的新秀們
1、ERNIE
2、XLnet
NLP實戰
轉載://citymember.cn/gkk_detail/244789.html
已開課時間Have start time
- 葉梓
人工智能內訓
- 電信戰新業務趨勢 盧森煌(huang)
- 國藥《運用Al工具提升管理 盧森煌
- AI能力訓練與實戰應用 盧(lu)森煌
- AI虛擬數字人視頻制作:打 叢興飛
- 電信大模型+數字人+AI賦 盧森煌
- AI時代步伐,AI發展趨勢 盧森煌
- ChatGPT九劍-爆款辦 叢興飛(fei)
- AI在銀行業應用場景 董彥彩
- AI時代下中層管理者的7項 叢(cong)興(xing)飛
- 服飾內訓AI輔助設計 盧森煌
- 《探索AI:人工智能技術的 黃光偉
- ChatGPT在營銷領域的 叢興飛