課程大綱： R語言與Hadoop環(huán)境下大數(shù)據(jù)分析與挖掘課程培訓
大數(shù)據(jù)概述
1.大數(shù)據(jù)基本概念、技術(shù)梗概、技術(shù)沿革，以及大數(shù)據(jù)技術(shù)是如何改變?nèi)斯ぶ悄芗夹g(shù)、語音識別技術(shù)、圖像識別/視頻理解、
自然語言處理技術(shù)等，以及大數(shù)據(jù)技術(shù)在政府、金融、石油、教育、交通、醫(yī)療衛(wèi)生等行業(yè)的成功案例；
2.Hadoop大數(shù)據(jù)平臺的生態(tài)系統(tǒng)組件、平臺架構(gòu)以及工作原理；分布式文件系統(tǒng)HDFS、并行處理系統(tǒng)Hadoop MapReduce的系統(tǒng)架構(gòu)、核心功能模塊、工作原理以及應用開發(fā)；
3.大數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)模型、半結(jié)構(gòu)化模型和非結(jié)構(gòu)化數(shù)據(jù)的存儲模型，邏輯模型，以及分析建模工具的常用方法。
數(shù)據(jù)挖掘及Mahout
1.十大常用的并行數(shù)據(jù)挖掘算法、原理、應用場景，以及技術(shù)實戰(zhàn)；
2.并行數(shù)據(jù)挖掘平臺Mahout的技術(shù)架構(gòu)、核心組件的工作原理以及技術(shù)；
3.Mahout應用開發(fā)技術(shù)；
4.Mahout項目實戰(zhàn)。
R語言精要 本著循序漸進而又覆蓋R語言重要而有用的基本內(nèi)容原則，
本講從R語言入門開始，以前期的數(shù)據(jù)處理為核心，以實際案例為載體，
內(nèi)容包括R語言的向量、數(shù)據(jù)框、矩陣運算、缺失值和零值的處理、
特別注重用R語言構(gòu)造函數(shù)編程解決實際問題，詳細介紹強大的數(shù)據(jù)清洗整理plyr、zoo、car等常用包和強大的作圖ggplot2包，
為使用R語言進行數(shù)據(jù)挖掘打下扎實的工具基礎(chǔ)。
主要案例： 案例1：如何用R語言plyr等包合并、排序、分析數(shù)據(jù)并編制香農(nóng)-威納指數(shù)；
案例2：如何用R語言編程同時實現(xiàn)幾十個高難度數(shù)據(jù)分析可視化圖片的jpeg格式輸出；
案例3：如何使用R語言進行分層或者整群抽樣構(gòu)建訓練集與測試集；
案例4：使用ggplot2畫出各種復雜的圖形。 Logistic回歸與 商業(yè)大數(shù)據(jù)建模 Logistic回歸是商業(yè)建模的常用重要數(shù)據(jù)挖掘方法，
本講要講清楚Logistic回歸的建模原理、與多元線性模型的區(qū)別、R語言實現(xiàn)過程及回歸診斷注意事項、
預測方法和結(jié)果解釋，讓學員徹底地掌握Logistic回歸解決問題的R語言方法。
主要案例： 案例1：利用Logistic回歸幫助商業(yè)銀行完成對客戶提前還貸款情況的預測；
案例2：利用Logistic回歸幫助醫(yī)生對病人選擇佳治療方案；
案例3：利用Logistic回歸幫助廠家分析顧客做出購買決策的重要因素；
案例4：利用Logistic回歸幫助壽險公司進行目標客戶精準電話營銷；
案例5：利用Logistic回歸幫助商業(yè)銀行完成對客戶的信用評分；
案例6：利用Logistic回歸幫助公司分析客戶流失的原因并做好預測。
關(guān)聯(lián)規(guī)則和R語言實現(xiàn) 關(guān)聯(lián)規(guī)則（著名的“啤酒和尿布”）是數(shù)據(jù)挖掘的基礎(chǔ)和核心技術(shù)之一，
本講將著重圍繞經(jīng)典的Apriori算法和eclat算法，闡明關(guān)聯(lián)規(guī)則的支持、置信和提升程度與控制，使用R語言快速完成關(guān)聯(lián)規(guī)則分析。
主要案例： 案例1：使用R語言關(guān)聯(lián)規(guī)則方法幫助各個超市實現(xiàn)商品的佳捆綁銷售方案（即“購物籃”分析）；
案例2：泰坦尼克號乘客幸存的關(guān)聯(lián)規(guī)則分析； 案例3：提高個人收入的關(guān)聯(lián)分析。
決策樹（回歸樹） 分析和R語言實現(xiàn) 決策樹是數(shù)據(jù)挖掘的經(jīng)典方法，其原理容易被理解。
本講主要講授兩種為普遍的決策樹算法：CART和C4.5算法，使用rpart和J48函數(shù)進行R語言分析。
主要案例： 案例1：對汽車耗油量進行決策樹分析并完成相關(guān)目標變量的預測；
案例2：使用決策樹幫助電信局判斷和預測客戶辦理寬帶業(yè)務(wù)。
機器集成學習的 Bagging和AdaBoost算法 這兩種方法將許多分類器的預測結(jié)果進行匯總分析，從而達到顯著提升分類效果。
本講介紹這2種算法的思想，在R語言中構(gòu)造訓練集和測試集進一步進行分析。
主要案例： 案例1：用R語言的Bagging和AdaBoost進行商業(yè)銀行定期存款的分析和預測；
案例2：用R語言的Bagging和AdaBoost識別有毒蘑菇。 R語言隨機森林 （RandomForest）算法 在機器學習中，
隨機森林是一個包含多個決策樹的分類器，本講講清隨機森林方法的原理，
以致在實際中幫助學員判斷適合進行隨機森林分析的情況，終熟練掌握R語言隨機森林分析的方法。
主要案例： 案例1：對皮膚病進行隨機森林的分類和預測；
案例2：對酒的品質(zhì)和種類進行分類和評價。
支持向量機和 R語言的實現(xiàn) 本講將分析支持向量機的結(jié)構(gòu)風險小原理、間隔和核函數(shù)，
從而幫助學員深刻理解支持向量機的思想和算法，以及使用中注意的問題，從而幫助學員靈活地應用于各個領(lǐng)域。
主要案例： 案例1：對著名的鳶尾花數(shù)據(jù)進行支持向量機的分析；
案例2：使用支持向量機識別有毒蘑菇；
案例3：使用支持向量機進行股票指數(shù)預測。
神經(jīng)網(wǎng)絡(luò)和 R語言的實現(xiàn) 神經(jīng)網(wǎng)絡(luò)由大量的節(jié)點和輸出函數(shù)構(gòu)成邏輯策略，
本講介紹其原理，主要通過案例的方式講解R語言實現(xiàn)神經(jīng)網(wǎng)絡(luò)算法的過程和注意的事項。
主要案例： 案例1：酒的品質(zhì)和種類的神經(jīng)網(wǎng)絡(luò)的分析和預測；
案例2：公司財務(wù)預警建模。 對于同一個數(shù)據(jù)，可能有很多模型來擬合，如何衡量和比較模型的精度呢？
本講將介紹交叉驗證訓練集和測試集的方法來幫助大家在實際中選取佳模型進行擬合和預測。
文本挖掘，特別是對中文的文本挖掘日趨重要。
本講介紹文本挖掘的原理和方法，幫助大家使用R語言在大量的非結(jié)構(gòu)化的數(shù)據(jù)中發(fā)現(xiàn)有價值的信息，抽取潛在有用的數(shù)據(jù)，發(fā)現(xiàn)適合模式，實現(xiàn)可視化結(jié)果展示。
主要案例： 案例：使用R語言結(jié)合KNN算法對網(wǎng)頁（Web）進行文本挖掘（含分詞、分類、可視化等）。
加入高級會員獲得助教答疑
