
大數(shù)據(jù)分析AI算法與可視化技術應用培訓
數(shù)據(jù)分析實戰(zhàn)
第一講 零基礎學Python講解Python背景、國內發(fā)展狀況、基礎語法、數(shù)據(jù)結構及繪圖操作等內容。特別針對向量計算這塊,著重介紹Python在這方面的優(yōu)勢及用法。
第二講 數(shù)據(jù)分析方法論講解統(tǒng)計分析基礎,包括統(tǒng)計學基本概念,假設檢驗,置信區(qū)間等基礎,并結合數(shù)據(jù)案例說明其使用場景和運用方法。
介紹數(shù)據(jù)分析流程和常見分析思路,并結合案例進行講解。
第三講 數(shù)據(jù)處理技法從數(shù)據(jù)接入、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)轉換等幾個方面進行講解。數(shù)據(jù)接入包含接入MySQL、Oracle、Hadoop等常見數(shù)據(jù)庫操作;
數(shù)據(jù)統(tǒng)計包含Pandas包的具體用法和講解;數(shù)據(jù)轉換包含對數(shù)據(jù)集的關聯(lián)、合并、重塑等操作。
此外,針對海量數(shù)據(jù)的情況下,介紹在Spark平臺上的數(shù)據(jù)處理技術,并結合真實環(huán)境進行操作講解。
數(shù)據(jù)挖掘理論及核心技術
第四講 認識數(shù)據(jù)挖掘講解數(shù)據(jù)挖掘基本概念,細致講解業(yè)務理解、數(shù)據(jù)理解、數(shù)據(jù)準備、建立模型、模型評估、模型部署各環(huán)節(jié)的工作內容及相關技術;
結合業(yè)界經典場景,講解數(shù)據(jù)挖掘的實施流程和方法體系。
第五講 數(shù)據(jù)挖掘核心技術細致講解抽樣、分區(qū)、樣本平衡、特征選擇、訓練模型、評估模型等數(shù)據(jù)挖掘核心技術原理,并結合案例講解其具體實現(xiàn)和用法。
尤其針對樣本平衡,重點講解人工合成、代價敏感等算法;針對特征選擇,重點講解特征選擇的核心思路,并結合Python進行案例演示。
大數(shù)據(jù)算法原理及案例實現(xiàn)(1)
第七講 決策樹算法及Python實現(xiàn)決策樹是非常經典的算法 ,一般常見于小數(shù)據(jù)的挖掘。由于決策樹具有極強的可解釋性,針對海量數(shù)據(jù)仍然是非常重要的實用價值。
主要講解ID3、C4.5、C5.0以及CART決策樹算法的實現(xiàn)原理,并結合案例進行Python實現(xiàn)。
第八講 好萊塢百萬級影評數(shù)據(jù)分析與電影推薦實現(xiàn)實戰(zhàn)部分:基于好萊塢百萬級的影評數(shù)據(jù),對數(shù)據(jù)進行建模、清洗、透視表操作。
然后根據(jù)用戶畫像分析不同的用戶喜好通過機器學習算法對不同性別、年齡階段的用戶進行定制化的電影推薦,后把推薦的電影進行可視化的展示操作
大數(shù)據(jù)算法原理及案例實現(xiàn)(2)
第九講 因果推理算法及Python實現(xiàn)大數(shù)據(jù)分析技術可以幫助我們去發(fā)現(xiàn)、解決一些業(yè)務問題,然而如何去判斷我們的改進是否生效,
是否在業(yè)務指標上呈現(xiàn)過一定的因果邏輯,則是一個重要問題和分析方向。本節(jié)主要介紹因果推理算法,
包括貝葉斯推理、狀態(tài)空間模型以及CausalImpact工具等內容,并結合案例進行Python實現(xiàn)。
第十講 深度學習算法及Python實現(xiàn)對于大數(shù)據(jù)的建模任務,我們可以基于深度學習來實現(xiàn),不僅能夠針對海量數(shù)據(jù)進行建模,其效果也非常不錯。
本節(jié)主要講解深度學習的發(fā)展歷程,DBN、DNN等經典深度學習算法,深度學習優(yōu)化算法以及一些技巧。同時,介紹Keras、OpenCV庫的使用方法,并結合案例進行Python實現(xiàn)。
第十一講 采用OpenCV實現(xiàn)計算機視覺技術實戰(zhàn)部分:基于OpenCV面部模型,完成對圖片和視頻的人臉識別,實戰(zhàn)中會講解OpenCV的重要類和函數(shù)。
主要內容包括OpenCV庫的安裝和部署、圖像增強、像素操作、圖形分析等各種技術,并且詳細介紹了如何處理來自文件或攝像機的視頻,以及如何檢測和跟蹤移動對象。
Python應用實戰(zhàn)(一)
第十二講 Python自然語言處理原理及案例目前文檔數(shù)據(jù)已經成為很多企業(yè)重要的資產,通過對文檔數(shù)據(jù)進行解析、建模、分析、挖掘、可視化,我們能夠發(fā)現(xiàn)不一樣的洞察。
本節(jié)主要講解自然語言處理基本概念和技法,包含分詞、關鍵字提取、文摘提取、文本分類、主題模型、word2vec等內容。
介紹在深度學習的加持下,與傳統(tǒng)做法的區(qū)別,并使用Python進行案例講解。
第十三講 數(shù)據(jù)分析圖表及Python案例數(shù)據(jù)可視化是大數(shù)據(jù)分析的重要手段,通過合理地使用圖表,不僅可以簡潔地表達數(shù)據(jù)的含義,
高效地發(fā)現(xiàn)問題,還可以為報告的編寫以及數(shù)據(jù)分析web應用增色不少。
本節(jié)主要講解常用的數(shù)據(jù)分析圖表及其使用場景,介紹數(shù)據(jù)可視化的方法論,避免生搬硬套的使用圖表,針對不同的業(yè)務場景和需求,合理選擇可視化方法。
介紹的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可視化庫。
Python應用實戰(zhàn)(二)
第十四講 使用Notebook編寫數(shù)據(jù)分析報告數(shù)據(jù)分析報告在大數(shù)據(jù)分析過程中具有重要價值,它體現(xiàn)了大數(shù)據(jù)分析的目的、過程和結果,
以及對發(fā)現(xiàn)問題的解讀、改進方案等等,本節(jié)主要講解使用Notebook編寫數(shù)據(jù)分析報告的具體方法,以及編寫數(shù)據(jù)分析報告的方法論,并結合案例講解其用法。
第十五講 Seaborn可視化開發(fā)實戰(zhàn)Seaborn是一款不錯的可視化框架,它和 Pandas一樣是建立在 Matplotlib 之上的。
可以基于Seaborn快速開發(fā)一個輕量級的數(shù)據(jù)分析web應用。在網頁中嵌入圖表、數(shù)據(jù)以及分析的算法,非常適合打造企業(yè)內部的敏捷數(shù)據(jù)分析工具集
。本節(jié)主要介紹Pie、Scatter、Radar等等各種可視化解決方案,
同時講解一個用Seaborn實現(xiàn)數(shù)據(jù)分析功能(兼圖表)的實際案例,搭建服務器,在企業(yè)內部實現(xiàn)輕量級數(shù)據(jù)分析應用。