keepalive第二弹---构建轻量级的nginx高可用-白红宇

keepalive第二弹---构建轻量级的nginx高可用

阅读量：6962 次

发布时间：2019-06-27

本文共 12594 字，大约阅读时间需要 41 分钟。

一、简单的原理描述

在上一期的博文中我们简单的了解了什么是keepalive和如何实现keepalive + httpd的高可用。我们都知道相对于httpd来说还有更加轻量级的nginx服务能为我们提供网页web能力。并且还能够实现反向代理功能。那么什么是nginx呢？它又具有一些什么样的优势和特性呢？接下来我们就简单的给大家描述一下。

传统上基于进程或线程模型架构的web服务通过每进程或每线程处理并发连接请求，这势必会在网络和I/O操作时产生阻塞，其另一个必然结果则是对内存或CPU的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境，这包括为其分配堆内存和栈内存，以及为其创建新的执行上下文等。这些操作都需要占用CPU，而且过多的进程/线程还会带来线程抖动或频繁的上下文切换，系统性能也会由此进一步下降。

在设计的最初阶段，nginx的主要着眼点就是其高性能以及对物理计算资源的高密度利用，因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制，nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构，并大量采用了多路复用及事件通知机制。在nginx中，连接请求由为数不多的几个仅包含一个线程的进程worker以高效的回环(run-loop)机制进行处理，而每个worker可以并行处理数千个的并发连接及请求。

如果负载以CPU密集型应用为主，如SSL或压缩应用，则worker数应与CPU数相同；如果负载以IO密集型为主，如响应大量内容给客户端，则worker数应该为CPU个数的1.5或2倍。

Nginx会按需同时运行多个进程：一个主进程(master)和几个工作进程(worker)，配置了缓存时还会有缓存加载器进程(cache loader)和缓存管理器进程(cache manager)等。所有进程均是仅含有一个线程，并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行，而worker、cache loader和cache manager均应以非特权用户身份运行。

主进程主要完成如下工作：

1. 读取并验正配置信息；

2. 创建、绑定及关闭套接字；

3. 启动、终止及维护worker进程的个数；

4. 无须中止服务而重新配置工作特性；

5. 控制非中断式程序升级，启用新的二进制程序并在需要时回滚至老版本；

6. 重新打开日志文件，实现日志滚动；

7. 编译嵌入式perl脚本；

这些功能都是站在前人的基础上做出的更加优秀的改进，因此我们在实现简单web应用的时候更加倾向于使用nginx。由此，我们在这里为大家提供一个基于nginx的keepalive高可用平台的搭建过程。拓扑如下：

二、安装配置nginx

1、安装规划

rhel6.4-32虚拟机两台host1:172.16.12.61、host2:172.16.12.62

2、解决依赖关系

编译安装nginx需要事先需要安装开发包组"Development Tools"和 "Development Libraries"。还需要专门安装pcre-devel包。同时还需要同步两台服务器的时间：

# yum -y gourpinstall "Development Tools" "Development Libraries"# yum -y install pcre-devel# ntpdate 172.16.0.1                #172.16.0.1是搭建的时间服务器

3、安装nginx

首先添加用户nginx，实现以之运行nginx服务进程：

# groupadd -r nginx# useradd -r -g nginx nginx# tar xf nginx-1.4.1.tar.gz# cd nginx-1.4.1

接着进行编译及安装：

# ./configure \  --prefix=/usr \                                           #安装路径  --sbin-path=/usr/sbin/nginx \                             #二进制命令  --conf-path=/etc/nginx/nginx.conf \                       #配置文件  --error-log-path=/var/log/nginx/error.log \               #错误日志  --http-log-path=/var/log/nginx/access.log \               #访问日志  --pid-path=/var/run/nginx/nginx.pid  \                    #PID路径  --lock-path=/var/lock/nginx.lock \                        #锁文件  --user=nginx \                                            #用户  --group=nginx \                                           #组  --with-http_ssl_module \                                  #支持ssl认证模块  --with-http_flv_module \                                  #支持流媒体  --with-http_stub_status_module \                          #支持统计页面  --with-http_gzip_static_module \                          #支持页面压缩  --http-client-body-temp-path=/var/tmp/nginx/client/ \     #用户请求主体缓存目录  --http-proxy-temp-path=/var/tmp/nginx/proxy/ \            #代理数据  --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \           #fastcgi  --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \             #支持python框架  --http-scgi-temp-path=/var/tmp/nginx/scgi \               #scgi  --with-pcre                                               #pcre# make && make install

说明：在安装过程中不同的机器可能有些软件包的安装不同，在编译安装的过程可能会出现不同的报错信息，大家不用担心，依照错误提示安装所需要的软件包即可。如遇到问题可以留言，也可以自行在网上搜索。

4、为nginx提供SysV init脚本:

新建文件/etc/rc.d/init.d/nginx，内容如下：

#!/bin/sh## nginx - this script starts and stops the nginx daemon## chkconfig:   - 85 15# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \#               proxy and IMAP/POP3 proxy server# processname: nginx# config:      /etc/nginx/nginx.conf# config:      /etc/sysconfig/nginx# pidfile:     /var/run/nginx.pid                                                                                                                                                                                                                                                                                    # Source function library.. /etc/rc.d/init.d/functions                                                                                                                                                                                                                                                                                    # Source networking configuration.. /etc/sysconfig/network                                                                                                                                                                                                                                                                                    # Check that networking is up.[ "$NETWORKING" = "no" ] && exit 0                                                                                                                                                                                                                                                                                    nginx="/usr/sbin/nginx"prog=$(basename $nginx)                                                                                                                                                                                                                                                                                    NGINX_CONF_FILE="/etc/nginx/nginx.conf"                                                                                                                                                                                                                                                                                    [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx                                                                                                                                                                                                                                                                                    lockfile=/var/lock/subsys/nginx                                                                                                                                                                                                                                                                                    make_dirs() {   # make required directories   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`   options=`$nginx -V 2>&1 | grep 'configure arguments:'`   for opt in $options; do       if [ `echo $opt | grep '.*-temp-path'` ]; then           value=`echo $opt | cut -d "=" -f 2`           if [ ! -d "$value" ]; then               # echo "creating" $value               mkdir -p $value && chown -R $user $value           fi       fi   done}                                                                                                                                                                                                                                                                                    start() {    [ -x $nginx ] || exit 5    [ -f $NGINX_CONF_FILE ] || exit 6    make_dirs    echo -n $"Starting $prog: "    daemon $nginx -c $NGINX_CONF_FILE    retval=$?    echo    [ $retval -eq 0 ] && touch $lockfile    return $retval}                                                                                                                                                                                                                                                                                    stop() {    echo -n $"Stopping $prog: "    killproc $prog -QUIT    retval=$?    echo    [ $retval -eq 0 ] && rm -f $lockfile    return $retval}                                                                                                                                                                                                                                                                                    restart() {    configtest || return $?    stop    sleep 1    start}                                                                                                                                                                                                                                                                                    reload() {    configtest || return $?    echo -n $"Reloading $prog: "    killproc $nginx -HUP    RETVAL=$?    echo}                                                                                                                                                                                                                                                                                    force_reload() {    restart}                                                                                                                                                                                                                                                                                    configtest() {  $nginx -t -c $NGINX_CONF_FILE}                                                                                                                                                                                                                                                                                    rh_status() {    status $prog}                                                                                                                                                                                                                                                                                    rh_status_q() {    rh_status >/dev/null 2>&1}                                                                                                                                                                                                                                                                                    case "$1" in    start)        rh_status_q && exit 0        $1        ;;    stop)        rh_status_q || exit 0        $1        ;;    restart|configtest)        $1        ;;    reload)        rh_status_q || exit 7        $1        ;;    force-reload)        force_reload        ;;    status)        rh_status        ;;    condrestart|try-restart)        rh_status_q || exit 0            ;;    *)        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"        exit 2esac

而后为此脚本赋予执行权限：

# chmod +x /etc/rc.d/init.d/nginx

添加至服务管理列表，并让其开机自动启动：

# chkconfig --add nginx# chkconfig nginx on

而后就可以启动服务并测试了：

# service nginx start# vim /usr/html/index.html    master.wangej.com
# vim /usr/html/index.html    slaves.wangej.com

实例如图：

三、安装keepalive

安装规划：高可用的流动IP为172.16.12.254

1、安装软件

因为在rhel6.4中已经自带的有keepalive，所以我们这里就直接使用yum安装，请自行配置好yum源(keepalive有依赖关系，如果不能自行解决依赖关系就请使用yum安装)

# yum install keepalived -y

2、修改配置文件

# cd /etc/keepalived/# vim keepalived.conf

! Configuration File for keepalivedglobal_defs {   notification_email {        root@localhost   }   notification_email_from root@localhost   smtp_server 127.0.0.1   smtp_connect_timeout 30   router_id LVS_DEVEL}vrrp_script chk_nginx {    script "killall -0 nginx"    interval 2    weight -2    fall 2    rise 1}vrrp_script chk_schedown {   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"   interval 2   weight -2}vrrp_instance VI_1 {    state MASTER    interface eth0    virtual_router_id 61    priority 101    advert_int 1    authentication {        auth_type PASS        auth_pass nginxpass    }    virtual_ipaddress {        172.16.12.254/16 dev eth0 label eth0:0    }    track_script {        chk_nginx        chk_schedown    }    notify_master "/etc/keepalived/notify.sh master"    notify_backup "/etc/keepalived/notify.sh backup"    notify_fault "/etc/keepalived/notify.sh fault"}

在从服务器上只需修改以下两项即可：

state BACKUPpriority 100

3、提供一个手动停止节点的脚本

# vim notify.sh                                 #创建一个脚本

#!/bin/bash# Author: WangEJ 
     
      # description: An example of notify script#ifalias=${2:-eth0:0}interface=$(echo $ifalias | awk -F: '{print $1}')vip=$(ip addr show $interface | grep $ifalias | awk '{print $2}')#contact='ywhwzhang@gmail.com'contact='root@localhost'workspace=$(dirname $0)notify() {    subject="$ip change to $1"    body="$ip change to $1 $(date '+%F %H:%M:%S')"    echo $body | mail -s "$1 transition" $contact}case "$1" in    master)        notify master        exit 0    ;;    backup)        notify backup        /etc/rc.d/init.d/nginx restart        exit 0    ;;    fault)        notify fault        exit 0    ;;    *)        echo 'Usage: $(basename $0) {master|backup|fault}'        exit 1    ;;esac

添加到开机启动的服务列表中：