
自然語言處理底層技術(shù)實現(xiàn)及應(yīng)用培訓(xùn)
課程將以中文為處理對象,
逐步講解關(guān)于中文的自然語言處理技術(shù)常用的一些底層技術(shù),
即中文分詞、詞性標(biāo)注、命名實體識別。
這三項底層技術(shù)也是目前能夠商用,且相對成熟的技術(shù)。
1 中文分詞方法
2 命名實體識別
3 條件隨機場模型
4 中文詞性標(biāo)注
5 隱馬爾科夫模型
6 長短時記憶網(wǎng)絡(luò)
1
自然語言處理簡介
1.自然語言處理發(fā)展歷史
2.自然語言處理底層技術(shù)
3.自然語言處理應(yīng)用技術(shù)
2
基于字典的中文分詞方法
1.分詞常用方法
2.正向大匹配法
3.逆向大匹配法
4.雙向大匹配法
1
實現(xiàn)逆向大匹配法
1.中文分詞概念
2.逆向大匹配法
3
基于隱馬爾可夫的中文分詞方法
1.序列標(biāo)注
2.隱馬爾可夫模型
3.維特比算法
2
實現(xiàn)維特比算法
1.維特比算法
4
基于條件隨機場的詞性標(biāo)注方法
1.詞性標(biāo)注
2.基于規(guī)則的方法
3.基于統(tǒng)計的方法
4.條件隨機場
3
使用條件隨機場工具進行分詞
1.文本預(yù)處理
2.sklearncrfsuite使用
5
基于深度學(xué)習(xí)的命名實體識別方法
1.命名實體識別
2.循環(huán)神經(jīng)網(wǎng)絡(luò)
3.長短時記憶網(wǎng)絡(luò)
4.BiLSTMCRF
5.TensorFlow
4
實現(xiàn)基于規(guī)則的命名實體識別方法
1.命名實體識別概念
2.基于規(guī)則的方法
課程將會以中文文本為研究對象,
逐步講解自然語言處理中常用的底層技術(shù),
并動手實現(xiàn)。課程主要講解自然語言處理的底層技術(shù),
具體來說是中文分詞,詞性標(biāo)注以及命名實體識別。
中文分詞:基于字典的方法 。
中文分詞:基于隱馬爾可夫模型的方法。
詞性標(biāo)注:基于條件隨機場的方法。
命名實體識別:基于深度學(xué)習(xí)的方法。
在中文分詞實驗中,主要會詳細(xì)介紹以下幾種方法:
正向大匹配法。
逆向大匹配法。
雙向大匹配法。
隱馬爾可夫方法。
