1、Varnish概述

Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，它的作者Poul-Henning Kamp是FreeBSD核心的开发人员之一，Varnish采用全新的软件体系机构，和现在的硬件体系配合紧密。

作者认为现在的电脑比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括CPU内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此Squid Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。

挪威最大的在线报纸 Verdens Gang(vg.no)使用3台Varnish代替了原来的12台squid，性能比以前更好，这是Varnish最成功的应用案例，目前，Varnish可以在FreeBSD6.0/7.0、solaris、 Linux2.6内核上运行。

2、Varnish的结构与特点

Varnish是一个轻量级的Cache和反向代理软件，先进的设计理念和成熟的设计框架是Varnish的主要特点，现在的Varnish总共代码量不大，功能上虽然在不断改进，但是还需要继续丰富和加强。

Varnish 特点：

1）是基于内存缓存，重启后数据将消失

2）利用虚拟内存方式，io性能好

3）支持设置0~60秒内的精确缓存时间

4）VCL配置管理比较灵活

5）32位机器上缓存文件大小为最大2G

6）具有强大的管理监控功能，例如top，stat，admin，list等

7）状态机设计巧妙，结构清晰

8）利用二叉堆管理缓存文件，达到积极删除目的

3、Varnish与Squid的对比

说到Varnish，不能不提Squid，Squid是一个高性能的代理缓存服务器，它和varnish之间有诸多的异同点，这里分析如下：

他们之间的相同点：

1）都是一个反向代理服务器，

2）都是开源软件，

它们的不同点，也是Varnish的优点：

1）Varnish的稳定性很高，两者在完成相同负荷的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid要经常重启。

2）Varnish访问速度更快，Varnish采用了“Visual Page Cache”技术，所有缓存数据都直接从内存读取，而squid是从硬盘读取，因而Varnish在访问速度方面会更快。

3）Varnish可以支持更多的并发连接，因为Varnish的TCP连接释放要比Squid快。因而在高并发连接情况下可以支持更多TCP连接。

4）Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的。

Varnish也有缺点的：

1）varnish在高并发状态下CPU、IO、内存等资源开销都高于Squid。

2）varnish进程一旦Hang、Crash或者重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力。

Varnish 安装配置

一、安装 Varnish

Varnish的安装非常简单，下面逐步介绍：

1、安装前的准备

主机名              操作系统                    IP地址
Varnish-server CentOS release 5.4    192.168.12.246
Web-server      CentOS release 5.4    192.168.12.26

接着，建立varnish用户以及用户组，并且创建Varnish缓存目录和日志目录：
[root@varnish-server ~]#useradd  -s /sbin/nologin varnish
[root@varnish-server ~]#mkdir /data/varnish/cache
[root@varnish-server ~]#mkdir /data/varnish/log
[root@varnish-server ~]#chown -R varnish:varnish  /data/varnish/cache
[root@varnish-server ~]#chown -R varnish:varnish  /data/varnish/log

2、获取varnish软件

Varnish 官方站点：https://www.varnish-cache.org

这里面有varnish的最新说明文档，以及版本升级记录，从此站点可以找到varnish在SourceForge的下载链接，目前，varnish的最新版本是Varnish Cache 4.0.2，下载完成后的包名为 varnish-4.0.2.tar.gz，此处我们就以此版本为例，进行安装配置。

3、安装pcre
如果没有安装Pcre，在编译varnish2.0以上版本时，会提示找不到pcre库，而pcre库是为了兼容正则表达式，所以必须先安装pcre库。
[root@varnish-server ~]#tar zxvf pcre-7.9.tar.gz
[root@varnish-server ~]#cd pcre-7.9/
[root@varnish-server ~]#./configure --prefix=/usr/local/pcre/
[root@varnish-server ~]#make && make install

4、安装varnish
这里我们将varnish安装到/usr/local/目录下，操作如下：
[root@varnish-server ~]#tar -zxvf varnish-2.1.2.tar.gz
[root@varnish-server ~]#cd varnish-2.1.2
[root@varnish-server ~]#export PKG_CONFIG_PATH=/usr/local/pcre/lib/pkgconfig 
[root@varnish-server ~]#./configure --prefix=/usr/local/varnish \
 >--enable-dependency-trackin 
>--enable-debugging-symbols 
>--enable-developer-warnings 
[root@varnish-server ~]#make
[root@varnish-server ~]#make install
[root@varnish-server ~]#cp redhat/varnish.initrc  /etc/init.d/varnish
[root@varnish-server ~]#cp redhat/varnish.sysconfig  /etc/sysconfig/varnish
 其中，“PKG_CONFIG_PATH”是指定varnish查找pcre库的路径，如果pcre安装在了其它路径下，在这里指定相应的路径即可，Varnish默认查找的pcre库路径为/usr/local/lib/ pkgconfig。最后两步操作是拷贝一些varnish守护进程的初始化脚本文件，这些脚本用于varnish的启动、关闭管理等方面，在下面章节中会进行详细讲解。
 至此，varnish安装完毕。
 

二、配置Varnish

1、VCL使用说明

VCL，即为Varnish Configuation Language，用来定义varnish的存取策略，VCL语法比较简单，跟C和perl比较相似，可以使用指定运算符“=”，比较运算符“==”，逻辑运算符“!,&&,!!”等形式。还支持正则表达样和用“~”进行ACL匹配运算，同时还可以使用“set”这样的关键字来指定变量。
需要注意的是，“\”字符在VCL里没有特别的含义，这点与其它语言略有不同，另外，VCL只是配置，并不是真正的编程语言，没有循环，也没有自定义变量。 
在讲述Varnish配置之前，首先需要了解下varnish的配置语法，即VCL，下面对VCL常用的一些内置函数和公用变量进行详细介绍。
VCL内置函数
（1）vcl_recv函数
用于接收和处理请求，当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束：
 pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
 pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。
 error code [reason]：表示返回“code”给客户端，并放弃处理该请求，“code”是错误标识，例如200、405等，“reason”是错误提示信息。
（2）vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个链接关闭。
此函数一般以如下几个关键字结束：
 error code [reason] 
 pipe
（3）vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，后端主机应答数据后送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束：
 error code [reason] 
 pass
（4）lookup
表示在缓存里查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss。
（5）vcl_hit函数
在执行lookup指令后，如果在缓存中找到请求的内容，将自动调用该函数。
此函数一般以如下几个关键字结束：
 deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。
 error code [reason] 
 pass
（6）vcl_miss函数
在执行lookup指令后，如果没有在缓存中找到请求的内容时自动调用该方法，此函数可以用于判断是否需要从后端服务器取内容。
此函数一般以如下几个关键字结束：
 fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。
 error code [reason] 
 pass
（7）vcl_fetch函数
在从后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是否将内容放入缓存，还是直接返回给客户端。
此函数一般以如下几个关键字结束：
 error code [reason]
 pass
 deliver
（8）vcl_deliver函数
在缓存中找到请求的内容后，发送给客户端前调用此方法。此函数一般以如下几个关键字结束：
 error code [reason] 
 deliver
（9）vcl_timeout 函数
此函数在缓存内容到期前调用。一般以如下几个关键字结束：
 discard：表示从缓存中清除该内容。
 fetch
（10）vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该方法，一般以如下几个关键字结束：
 keep：表示将内容继续保留在缓存中。
 discard
 

2、VCL处理流程图
 通过上面对VCL函数的介绍，读者对各个函数实现的功能已经有了一个了解，其实每个函数之间都是相互关联的，下图列出了varnish处理HTTP请求的一个运行流程图。

处理过程大致分为如下几个步骤：
（1） Receive状态，也就是请求处理的入口状态，根据VCL规则判断该请求应该是Pass或Pipe，或者进入Lookup（本地查询）。
（2） Lookup状态，进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入miss状态。
（3） Pass状态，在此状态下，会进入后端请求，即进入fetch状态。 
（4） Fetch状态，在Fetch状态下，对请求进行后端的获取，发送请求，获得数据，并进行本地的存储。
（5） Deliver状态， 将获取到的数据发送给客户端，然后完成本次请求。
3、内置公用变量
 VCL内置的公用变量可以用在不同的VCL函数中，根据这些公用变量使用的不同阶段，下面依次介绍。
当请求到达后，可以使用的公用变量如表2所示：
表2
公用变量名称    含义
req.backend        指定对应的后端主机
server.ip              表示服务器端IP
client.ip               表示客户端IP
req.request          指定请求的类型，例如GET、HEAD、POST等
req.url                 指定请求的地址
req.proto            表示客户端发起请求的HTTP协议版本
req.http.header   表示对应请求中的http头部信息
req. restarts         表示请求重启的次数，默认最大值为4
Varnish               在向后端主机请求时，可以使用的公用变量如表3所示：
表3
公用变量名称 含义
beresp.request 指定请求的类型，例如GET、HEAD等
beresp.url 指定请求的地址
beresp .proto 表示客户端发起请求的HTTP协议版本
beresp .http.header 表示对应请求中的http头部信息
beresp .ttl 表示缓存的生存周期，也就是cache保留多长时间，单位是秒
从cache或者后端主机获取内容后，可以使用的公用变量如表4所示：
表4
公用变量名称 含义
obj.status 表示返回内容的请求状态代码，例如200、302、504等
obj.cacheable 表示返回的内容是否可以缓存，也就是说，如果HTTP返回是200、203、300、301、302、404、410等，并且有非0的生存期，则可以缓存
obj.valid 表示是否是有效的HTTP应答
obj.response 表示返回内容的请求状态信息
obj.proto 表示返回内容的HTTP协议版本
obj.ttl 表示返回内容的生存周期，也就是缓存时间，单位是秒
obj.lastuse 表示返回上一次请求到现在的间隔时间，单位是秒
对客户端应答时，可以使用的公用变量如表5所示：
表5
公用变量名称 含义
resp.status 表示返回给客户端的HTTP状态代码
resp.proto 表示返回给客户端的HTTP协议版本
resp.http.header 表示返回给客户端的HTTP头部信息
resp.response 表示返回给客户端的HTTP状态信息
在上面的讲述中，我们只是介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录varnish官方网站查阅。

三 、配置一个简单的Varnish实例
 由于版本的不同，Varnish配置文件的写法也存在一定差异，varnish2.x版本和1.x版本之间不但配置文件写法不同，而且新的版本功能也增加很多，并且去除了很多应用BUG，这里讲述的版本是varnish2.1.2，配置文件写法也以varnish2.x版本为基准。
Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉了，这里，我们以这个文件为模板，创建一个新的文件vcl.conf，并且放到/usr/local/varnish/etc目录下，配置完成的vcl.conf文件如下：
#通过backend定义了一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域名，“.port”指定后端主机的服务端口。其中，“192.168.12.26”就是后端的一个web服务器。
backend webserver {
     .host = "192.168.12.26";
     .port = "80";
 }

#调用vcl_recv开始。
sub vcl_recv {
        if (req.http.x-forwarded-for) {
                set req.http.X-Forwarded-For =
                    req.http.X-Forwarded-For ", " client.ip;
        } else {
                set req.http.X-Forwarded-For = client.ip;
        }
#如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE时，进入pipe模式。注意这里是“&&”的关系。
        if (req.request != "GET" &&
           req.request != "HEAD" &&
           req.request != "PUT" &&
           req.request != "POST" &&
           req.request != "TRACE" &&
           req.request != "OPTIONS" &&
           req.request != "DELETE") {
           return (pipe);
        }
#如果请求的类型不是GET与HEAD，则进入pass模式。
   if (req.request != "GET" && req.request != "HEAD") {
           return (pass);
        }

#对ixdba.net或者ixdba.cn两个域名进行缓存加速，这是个泛域名的概念，也就是所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存。
        if (req.http.host ~ "^(.*).ixdba.net" || req.http.host ~ "^(.*).ixdba.cn") {
           set req.backend = webserver;
        }

#对以.jsp和.do结尾以及带有?的URL时，直接从后端服务器读取内容。
        if (req.url ~ "\.(jsp|do)($|\?)") {
           return (pass);
        } else {
        return (lookup);
        }
}
 
sub vcl_pipe {
    return (pipe);
}
 
sub vcl_pass {
    return (pass);
}
 
sub vcl_hash {
    set req.hash += req.url;
    if (req.http.host) {
        set req.hash += req.http.host;
    } else {
        set req.hash += server.ip;
    }
    return (hash);
}
 
sub vcl_hit {
    if (!obj.cacheable) {
        return (pass);
    }
    return (deliver);
}
 
sub vcl_miss {
    return (fetch);
}
 
sub vcl_fetch {
     if (!beresp.cacheable) {
         return (pass);
     }
     if (beresp.http.Set-Cookie) {
         return (pass);
     }

#当url中包含servlet时，不进行缓存。
    if (req.url ~ "^/servlet/") {
        return (pass);
    }

#当url中包含services时，不进行缓存。
    if (req.url ~ "^/services/") {
        return (pass);
    }

#对于请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是300秒，即5分钟。
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
       set beresp.ttl = 300s;
    }
#对于请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，则进行缓存，缓存时间为600秒。
    if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
       set beresp.ttl = 600s;
    }
    return (deliver);
}
  #下面是添加一个Header标识，以判断缓存是否命中。
sub vcl_deliver {
    if (obj.hits > 0) {
       set resp.http.X-Cache = "HIT from www.ixdba.net";
    } else {
      set resp.http.X-Cache = "MISS from www.ixdba.net";
    }
    return (deliver);
}

参考推荐：

Varnish 管理维护

Varnish 性能调优

Varnish 介绍（百度百科）