第一章 概述簡要介紹該系列課程的內(nèi)容,
?
本章內(nèi)容如下:
主流高并發(fā)大數(shù)據(jù)應(yīng)對技術(shù)介紹
CDN鏡像技術(shù)介紹
靜態(tài)化技術(shù)介紹
庫表水平及垂直拆分技術(shù)介紹
虛擬化云計算體系介紹
高并發(fā)系統(tǒng)架構(gòu)規(guī)劃
高并發(fā)大型網(wǎng)站高可靠架構(gòu)圖
課程安排簡介
高并發(fā)大型網(wǎng)站高可靠架構(gòu)網(wǎng)絡(luò)IP規(guī)劃
搭建實(shí)戰(zhàn)環(huán)境的準(zhǔn)備工作
SFTP客戶端Filezilla使用簡介
SSH客戶端SecureCRT使用簡介
Centos關(guān)閉圖形界面啟動及開啟sshd實(shí)戰(zhàn)?
虛擬機(jī)clone后網(wǎng)卡重新初始化演練??
VMware使用技巧演練
?
第二章 LVS實(shí)現(xiàn)負(fù)載均衡軟交換實(shí)戰(zhàn)?
? ? ? ??
本章演練的是負(fù)載均衡技術(shù)的核心,主要包括LVS的類型特點(diǎn)適用場景介紹,使用Piranha安裝快速搭建LVS負(fù)載均衡集群及配置,LVS負(fù)載均衡DR模式深入安裝調(diào)試,LVS調(diào)度策略及負(fù)載均衡原理詳細(xì)演練,LVS深入實(shí)踐NAT模式集群調(diào)試。
?
詳細(xì)內(nèi)容如下:?
?
LVS服務(wù)器配置準(zhǔn)備
關(guān)閉centos網(wǎng)卡自動管理實(shí)踐
上網(wǎng)網(wǎng)卡手動配置
yum鏡像加速
yum安裝Piranha
piranha-gui啟動
防火墻配置開通3306口
pulse啟動
piranha安裝效果驗(yàn)證
nginx服務(wù)器配置安裝
主機(jī)名配置
添加nginx的yum安裝源
yum安裝nginx
nginx安裝效果驗(yàn)證
防火墻配置打開80口
防火墻配置虛IP包轉(zhuǎn)發(fā)規(guī)則支持LVS的DR模式
Piranha配置DR模式詳解演練
global settings公網(wǎng)IP配置Primary server public ip
redundancy配置lvs服務(wù)器的冗余,
virtual servers配置Virtual IP Address和real server
主從配置scp復(fù)制
LVS安裝效果驗(yàn)證
ipvsadm演練
熱備切換
LVS自服務(wù)配置啟動
Piranha相關(guān)輪詢配置參數(shù)講解及效果演示
Round robin:輪轉(zhuǎn)調(diào)度 輪詢 (最簡單的輪詢)
Weighted least-connections:加權(quán)最少連接(考慮負(fù)載、服務(wù)器性能因素)
Weighted round robin:加權(quán)最少連接(考慮服務(wù)器性能因素)
Least-connection:最少連接(考慮負(fù)載因素) 等
/etc/sysconfig/ha/lvs.cf? 文件配置內(nèi)容詳細(xì)講解
LVS調(diào)度策略深入及效果演示
服務(wù)器集群負(fù)載均衡簡化的整體結(jié)構(gòu)講解
基于DNS的請求調(diào)度
基于前端調(diào)度器的請求調(diào)度
四層交換-通過DR實(shí)現(xiàn)報文轉(zhuǎn)發(fā)
四層交換-通過IP隧道實(shí)現(xiàn)報文轉(zhuǎn)發(fā)
四層交換-通過NAT實(shí)現(xiàn)報文轉(zhuǎn)發(fā)
四層交換-三種報文轉(zhuǎn)發(fā)技術(shù)比較
應(yīng)用層交換-協(xié)議內(nèi)部支持Http重定向
應(yīng)用層交換-其他技術(shù)
基于后端服務(wù)器的請求調(diào)度
LVS三種模式比較
LVS典型NAT模式網(wǎng)絡(luò)拓?fù)鋱D
Clone服務(wù)器配置安裝nginx2及l(fā)vs2
Piranha配置NET模式
NAT模式效果演示
centos配置防火墻關(guān)閉,開啟轉(zhuǎn)發(fā)
centos主備LVS復(fù)制配置文件
驗(yàn)證LVSNAT安裝效果
?
第三章 Nginx高級配置實(shí)戰(zhàn)
?
本章演練的是靜態(tài)內(nèi)容與動態(tài)內(nèi)容服務(wù)器分離,主要包括Nginx基礎(chǔ)安裝配置,Nginx反向代理實(shí)戰(zhàn)進(jìn)階,Nginx動靜分離URL轉(zhuǎn)發(fā)實(shí)戰(zhàn),
?
詳細(xì)內(nèi)容如下:
Hadoop,Tomcat的安裝環(huán)境采用debian的tomcat最小安裝版虛擬機(jī)下載并初始化
tomcat服務(wù)端口修改
主機(jī)名修改
增加首頁jsp服務(wù)器識別標(biāo)志
tomcat安裝效果測試
nginx安裝默認(rèn)目錄講解
nginx配置文件詳細(xì)講解
nginx配置server先后順序演練
hosts文件修改本地dns配置模擬域名訪問
Nginx調(diào)度策略演練:nginx的upstream目前支持4種方式的分配:輪詢(默認(rèn))、weight、ip_hash、fair、url_hash
Nginx調(diào)度策略-小技巧演練等:backup,down等演練
proxy_pass后的url加不加/的區(qū)別演練
Nginx對URL進(jìn)行匹配語法規(guī)則講解
Nginx對URL進(jìn)行匹配演練實(shí)踐
Nginx對URL進(jìn)行匹配-常用規(guī)則講解
Nginx一些可用的全局變量詳解
Nginx代理后,服務(wù)端收到參數(shù)通過tomcat上編寫info.jsp詳細(xì)查看
Nginx對URL重寫語法詳解:標(biāo)記,判斷文件或目錄
正則表達(dá)式語法講解
Nginx對URL重寫例子技巧演練
1.簡單例子: rewrite "/zixun/([0-9]+)(/*).html$" /zixun/$1/ last;
2.多目錄轉(zhuǎn)成參數(shù)
3.目錄對換
4.設(shè)定nginx在用戶使用ie的使用重定向到/nginx-ie目錄下
5.目錄自動加“/”
6.禁止htaccess
7.禁止多個目錄
8.文件反盜鏈并設(shè)置過期時間
9.域名跳轉(zhuǎn)
10.多域名轉(zhuǎn)向
11.三級域名跳轉(zhuǎn)
12.域名鏡向
13.某個子目錄作鏡向
?
第四章? 基于共享存儲實(shí)現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)
本章演練的是基于共享存儲實(shí)現(xiàn)動態(tài)內(nèi)容靜態(tài)化加速,主要包括NFS共享文件系統(tǒng)基礎(chǔ)安裝配置,tomcat動態(tài)內(nèi)容靜態(tài)化加速實(shí)戰(zhàn)演練。
?
詳細(xì)內(nèi)容如下:
nginx負(fù)載均衡雙機(jī)配置文件同步復(fù)制
檢查LVS及整套集群環(huán)境運(yùn)行狀態(tài)(LVS+nginx+tomcat),停掉tomcat檢查
clone生成服務(wù)器安裝配置nfs服務(wù)端
centos64位yum安裝服務(wù)端nfs-utils rpcnbind
修改nfs配置文件/etc/exports服務(wù)端開放共享目錄
關(guān)閉防火墻,啟動nfs相關(guān)服務(wù)端服務(wù)
nginx服務(wù)器,tomcat服務(wù)器上nfs客戶端安裝配置并驗(yàn)證共享效果
配置各nfs相關(guān)服務(wù)開機(jī)自啟動
通過詳細(xì)jsp講解演練將動態(tài)內(nèi)容靜態(tài)化,提高整體系統(tǒng)性能。
tomcat服務(wù)器上目錄權(quán)限開放保證tomcat,nginx服務(wù)有權(quán)限讀寫
動態(tài)內(nèi)容靜態(tài)化效果驗(yàn)證
?
第五章 緩存平臺安裝配置使用
本章演練的主流緩存平臺的搭建,主要包括基于memcached搭建緩存平臺安裝配置,基于緩存編程實(shí)戰(zhàn)演練。
?
詳細(xì)內(nèi)容如下:
Clone生成服務(wù)器mem配置網(wǎng)卡及主機(jī)名
下載memcached的rpmforge的yum源rpm安裝包
yum安裝memcached
memcached安裝效果驗(yàn)證,服務(wù)自啟動配置驗(yàn)證
centos、win7上安裝telnet客戶端
telnet命令幫助檢查端口11211是否可訪問
防火墻關(guān)掉11211口限制
memcached服務(wù)器運(yùn)行狀態(tài)參數(shù)詳解
memcached啟動命令詳解并演練
下載Memcached java客戶端jar包
memcache客戶端測試代碼memtest.jsp詳解演練
stats items命令查看memcache中每個slab中存儲的item的一些詳細(xì)信息
stats slabs命令查看memcache中slab中內(nèi)存分配的情況
memcache的增刪改讀效果演練
計數(shù)器代碼count.jsp講解實(shí)戰(zhàn)
部署到tomcat1和tomcat2,不同服務(wù)器jsp增加服務(wù)器識別標(biāo)識,并驗(yàn)證效果
?
第六章? mysql主從復(fù)制安裝配置實(shí)戰(zhàn)
本章演練數(shù)據(jù)關(guān)鍵存儲主流數(shù)據(jù)庫高可靠平臺的搭建,主要包括mysql主從復(fù)制基礎(chǔ)安裝配置,mysql主從復(fù)制安裝配置進(jìn)階及結(jié)合緩存編程實(shí)戰(zhàn)演練。
?
詳細(xì)內(nèi)容如下:
Clone生成服務(wù)器mysql1配置網(wǎng)卡及主機(jī)名
yum安裝mysql服務(wù)
修改mysql配置字符集utf8
配置mysqld自啟動服務(wù)并啟動驗(yàn)證安裝效果
mysql設(shè)置root密碼
Mysql遺忘密碼如何重置關(guān)鍵使用技巧
Clone生成服務(wù)器mysql2修改主從配置開啟binlog
在主服務(wù)器上建立帳戶并授權(quán)slave同步權(quán)限
登錄主服務(wù)器的mysql,查詢master的狀態(tài)確定binlog文件名及pos偏移值
配置從服務(wù)器Slave指定上述主服務(wù)器binlog文件名及pos偏移值
啟動從同步復(fù)制服務(wù)并檢查從服務(wù)器復(fù)制功能狀態(tài)
詳細(xì)狀態(tài)實(shí)際講解Slave_IO_Running: Yes????? //此狀態(tài)必須YES
Slave_SQL_Running: Yes??? //此狀態(tài)必須YES
十分關(guān)鍵
外部訪問3306口驗(yàn)證
配置防火墻打開3306口
高級配置解決mysql遠(yuǎn)程訪問授權(quán)問題
主從服務(wù)器驗(yàn)證主從復(fù)制效果
主服務(wù)器中建庫建表,插入數(shù)據(jù)
從服務(wù)器中查看同步效果
若主服務(wù)器有老數(shù)據(jù)的情況初始化步驟詳解mysqldump,source等命令使用
利用Mysql解決memcahe持久化問題
Mysql? jdbc 驅(qū)動jar包下載
Mysql測試mysqltest.jsp代碼講解
mysql授權(quán)小陷阱問題解決
計數(shù)器表建立,計數(shù)器jsp代碼修改并在原有memcache基礎(chǔ)上增加mysql持久化部分代碼,間隔超過10秒存一次db,并重啟memcached檢查代碼效果
第七章? 海量數(shù)據(jù)平臺安裝配置實(shí)戰(zhàn)
?
本章演練主流NoSql分布式數(shù)據(jù)引擎及MapReduce平臺hadoop的搭建,主要包括hadoop分布計算平臺基礎(chǔ)安裝配置,hadoop高級管理,HDFS分布式文件使用深入演練。
?
詳細(xì)內(nèi)容如下:
HDFS和MapReduce共同組成了Hadoop分布式系統(tǒng)體系結(jié)構(gòu)的核心。HDFS集群、MapReduce分布式計算、Hadoop分布式集群運(yùn)行圖詳解
Clone出hadoop服務(wù)器nameNode配置ip及hostname
修改hosts增加nameNode,dataNode的ip映射
nameNode增加hadoop用戶及用戶組并設(shè)置密碼
nameNode配置ssh自動登錄
Clone出hadoop服務(wù)器dataNode1、2配置ip及hostname
修改hosts增加nameNode,dataNode的ip映射
dataNode增加hadoop用戶及用戶組并設(shè)置密碼
dataNode1、2配置ssh自動登錄
Namenode服務(wù)端同步ssh公鑰文件到各
dataNode1、2
ssh驗(yàn)證ssh自動登錄
Hadoop安裝,下載并上傳解壓縮
建立文件目錄tmp
Hadoop配置conf/core-site.xml詳解演練
Hadoop配置conf/hdfs-site.xml詳解演練
Hadoop配置conf/mapred-site.xml詳解演練
Hadoop配置conf/masters
Hadoop配置conf/slaves
復(fù)制Hadoop到slaves服務(wù)器
啟動Hadoop
首次執(zhí)行,格式化HDFS文件系統(tǒng)hadoop namenode –format
驗(yàn)證Hadoop啟動
java自帶的小工具jps查看進(jìn)程
hadoop dfsadmin -report查看服務(wù)狀態(tài)
Web管理:jobtracker、tasktracker、DFS狀態(tài)查看
Hadoop無法啟動可能的原因:防火墻等
管理HDFS中的文件詳細(xì)演練
?
第八章 簡單隊(duì)列緩存平臺安裝配置實(shí)戰(zhàn)(2課時)
?
本章演練熱門的redis搭建簡單的隊(duì)列及緩存平臺,主要包括redis安裝配置實(shí)戰(zhàn),redis實(shí)用編程詳細(xì)演練。
?
詳細(xì)內(nèi)容如下:
Redis是當(dāng)前最熱門的高級key-value數(shù)據(jù)庫。它跟memcached類似,不過數(shù)據(jù)可以持久化,而且支持的數(shù)據(jù)類型很豐富。
基于redis搭建簡單的隊(duì)列及緩存平臺
clone服務(wù)器redis配置ip及修改主機(jī)名
下載安裝redis-2.6.11.tar.gz?
編譯原代碼
編譯問題編譯環(huán)境上網(wǎng)yum安裝
Redis編譯安裝,在src目錄下生成5個可執(zhí)行文件,redis-server、redis-cli、redis-benchmark、redis-check-aof、redis-check-dump
設(shè)置內(nèi)存分配策略設(shè)置/etc/sysctl.conf 中vm.overcommit_memory = 1,允許分配所有的物理內(nèi)存,而不管當(dāng)前的內(nèi)存狀態(tài)如何
Redis啟動并驗(yàn)證
Redis遠(yuǎn)程連接6379口
配置防火墻打開6379端口
配置指定log及db文件
配置自啟動服務(wù)腳本:/etc/init.d/redis
增加權(quán)限。配置自啟動服務(wù)redis
Redis配置文件redis.conf修改,其中daemonize: 默認(rèn)情況下,redis不是在后臺運(yùn)行的,需要在后臺運(yùn)行,把該項(xiàng)的值更改為yes。
Redis常用命令:del name,exists name,ping,save,redis-cli -p 6379 save
Redis支持String類型,能存儲二進(jìn)制安全的字符串,最大長度為1GB。也可用來存儲數(shù)字,并支持對數(shù)字加減操作。還支持對其部分的修改和獲取操作。
List類型操作演練
集合(Sets)類型操作演練
有序集合(Sorted Sets)類型操作演練
Hash類型操作演練
Publish/Subscribe隊(duì)列訂閱發(fā)布操作演練
數(shù)據(jù)過期設(shè)置TTL,EXPIRE等關(guān)鍵命令
Redis事務(wù)性支持操作演練 MULTI、EXEC、DISCARD等關(guān)鍵命令
Redis常用實(shí)用命令:KEYS *、randomkey、TYPE key、rename、renamenx、lastsave、client list、monitor等重要命令演練
連接操作相關(guān)的命令詳解:
quit:關(guān)閉連接(connection)
auth:簡單密碼認(rèn)證持久化
save:將數(shù)據(jù)同步保存到磁盤
bgsave:將數(shù)據(jù)異步保存到磁盤
lastsave:返回上次成功將數(shù)據(jù)保存到磁盤的Unix時戳
shundown:將數(shù)據(jù)同步保存到磁盤,然后關(guān)閉服務(wù)遠(yuǎn)程服務(wù)控制
info:提供服務(wù)器的信息和統(tǒng)計
monitor:實(shí)時轉(zhuǎn)儲收到的請求
slaveof:改變復(fù)制策略設(shè)置
config:在運(yùn)行時配置Redis服務(wù)器
value操作的命令詳解
對String操作的命令詳解
對List操作的命令詳解
對Set操作的命令詳解
對Hash操作的命令詳解
支持多DB詳解演練
INFO服務(wù)信息詳解
Redis的java客戶端類包Jedis下載
修改計數(shù)器jsp代碼count_redis.jsp支持自動持久化的cache
最后總回顧整體本次系列高并發(fā)大數(shù)據(jù)架構(gòu)
?