 班級規(guī)模及環(huán)境--熱線:4008699035 手機:15921673576( 微信同號) |
|
每期人數(shù)限3到5人。 |
| 上課時間和地點 |
上課地點：【上海】：同濟大學(xué)(滬西)/新城金郡商務(wù)樓(11號線白銀路站) 【深圳分部】：電影大廈(地鐵一號線大劇院站)/深圳大學(xué)成教院 【北京分部】：北京中山學(xué)院/福鑫大樓 【南京分部】：金港大廈(和燕路) 【武漢分部】：佳源大廈（高新二路） 【成都分部】：領(lǐng)館區(qū)1號（中和大道） 【沈陽分部】：沈陽理工大學(xué)/六宅臻品 【鄭州分部】：鄭州大學(xué)/錦華大廈 【石家莊分部】：河北科技大學(xué)/瑞景大廈 【廣州分部】：廣糧大廈 【西安分部】：協(xié)同大廈
最近開課時間(周末班/連續(xù)班/晚班）：2020年3月16日 |
| 實驗設(shè)備 |
☆資深工程師授課
☆注重質(zhì)量
☆邊講邊練
☆合格學(xué)員免費推薦工作
★實驗設(shè)備請點擊這兒查看★ |
| 質(zhì)量保障 |
1、培訓(xùn)過程中，如有部分內(nèi)容理解不透或消化不好，可免費在以后培訓(xùn)班中重聽；
2、培訓(xùn)結(jié)束后,授課老師留給學(xué)員聯(lián)系方式,保障培訓(xùn)效果,免費提供課后技術(shù)支持。
3、培訓(xùn)合格學(xué)員可享受免費推薦就業(yè)機會。 |
課程大綱 |
| |
Hadoop性能調(diào)優(yōu)培訓(xùn)
?
Hadoop性能調(diào)優(yōu)培訓(xùn)
培訓(xùn)大綱
模塊
課程內(nèi)容
案例及實驗
Hadoop參數(shù)調(diào)優(yōu)
l?選擇適合Hadoop的硬件配置
l?Hadoop配置項優(yōu)化
l?網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
l?選擇正確的JDK
l?Hadoop作業(yè)調(diào)優(yōu)
l?Linux操作系統(tǒng)優(yōu)化
l?其他配置和參數(shù)調(diào)優(yōu)
l?Hadoop硬件優(yōu)化
l?不是所有的硬件都合適拿來直接使用
l?硬件為什么不做raid？
l?設(shè)置網(wǎng)絡(luò)的注意事項
l?中間結(jié)果壓縮對磁盤和網(wǎng)絡(luò)的優(yōu)化
l?常見異常現(xiàn)象及處理方法
Hive性能優(yōu)化
l?Hive參數(shù)優(yōu)化
l?Hive其他優(yōu)化
l?自有軟件Phphiveadmin的介紹及使用
l?對group，join的優(yōu)化
l?其他參數(shù)設(shè)計
l?設(shè)定并行執(zhí)行嵌套sql
l?為什么使用外部表和partition
l?Phphiveadmin帶來的優(yōu)勢和便利
精彩案例解析
案例一：那namenode?被重新格式化，datanode無法連接
案例二：硬盤損壞
案例三：錯誤用戶啟動hadoop
案例四：tasktracker重啟后假死
案例五：jobtracker無故宕機
HBASE調(diào)優(yōu)
l?HBase配置優(yōu)化綜述
l?讀優(yōu)化中需要調(diào)整的參數(shù)
l?寫優(yōu)化中需要調(diào)整的參數(shù)
l?Hbase-site.xml參數(shù)調(diào)優(yōu)
l?JVM優(yōu)化中需要調(diào)整的參數(shù)
l?Split?&?compact優(yōu)化相關(guān)參數(shù)
l?表設(shè)計優(yōu)化相關(guān)參數(shù)
l?Hbase客戶端優(yōu)化相關(guān)參數(shù)
l?監(jiān)控工具使用方法及注意事項
l?Memstore合并設(shè)置的時機選擇
l?Mslab使用設(shè)置
l?合并storefile策略設(shè)置技巧
l?Memstore??flush?設(shè)置時機選擇
l?Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)用
l?GC回收垃圾時機、GC日志打印設(shè)置
l?GC階段，region無法提供服務(wù)如何如何處理
l?安裝、使用步驟、主要監(jiān)控參數(shù)，如何根據(jù)參數(shù)進行調(diào)優(yōu)設(shè)置
精彩案例解析
案例1：hot??region造成讀請求瓶頸
現(xiàn)象：某臺機器的某個region讀請求非常頻繁，大量讀請求集中在一臺機器的某個region會造成該機器的壓力陡增，JVM內(nèi)存居高不下，load很高，使得client讀取數(shù)據(jù)上達到瓶頸值。
Mapreduce的性能調(diào)優(yōu)
Mapreduce中需要調(diào)優(yōu)的相關(guān)參數(shù)
??Dfs.block.size
??Mapreduce
??Io.sort.mb
??Io.sort.spill.percent
??Mapred.local.dir
??Mapred.map.tasksmapred.tasktracker.map.tasks.maximum
??Mapred.reduce.?tasksmapred.?Sktracker.reduce.tasks.?sktracker
l?Map中選擇合理的塊大小
l?Reduce并行復(fù)制線程的調(diào)優(yōu)
l?Map/reduce內(nèi)存配置的原則及方法
l?槽位數(shù)計算方法
l?調(diào)度器的選擇集調(diào)優(yōu)
精彩案例解析
案例1：控制map?&?reduce個數(shù)
現(xiàn)象：map個數(shù)取決于split個數(shù)，如果源文件使用壓縮存儲，則不可分割，一個文件一個map。非壓縮文件使用默認block.size進行切分。對reduce因為是中間數(shù)據(jù)，可以控制reduce數(shù)量。
|
首頁 課程表 在線聊 報名 講師 品牌 QQ聊 活動 就業(yè)