1、Apache日志文件名称及路径介绍

当我们安装并启动Apache后,Apache会自动生成两个日志文件,这两个日志文件分别是访问日志access_log和错误日志error_log(在Windows上是access.log和error.log),日志在 conf/httpd.conf 配置文件里设置

如果使用 SSL 服务的话,还可能存在 ssl_access_log和ssl_error_log 和 ssl_request_log 三种日志文件,在 conf/extra/httpd-ssl.conf 配置文件里设置。

日志文件的路径根据安装方式不同位置也是不一样的,一般都是在Apache安装目录的logs子目录中(logs与 conf 同一级目录),日志文件路径可根据实际安装情况在Apache的配置文件中进行查找。

使用 ssl https 后,以上共有五个日志文件,其中:

conf/httpd.conf 有两个日志文件:access_log , error_log

conf/extra/httpd-ssl.conf  有三个日志文件:ssl_access_log , ssl_error_log , ssl_request_log

米扑博客把他们加了前缀 httpd_ 重命名后,全部重定向了 /var/log/ 目录下:

# ll /var/log/httpd_*
-rw-r--r-- 1 root root    896 Aug 19 14:10 /var/log/httpd_access_log
-rw-r--r-- 1 root root 208969 Aug 19 14:09 /var/log/httpd_error_log
-rw-r--r-- 1 root root      0 Aug 18 18:14 /var/log/httpd_ssl_access_log
-rw-r--r-- 1 root root  22317 Aug 19 14:09 /var/log/httpd_ssl_error_log
-rw-r--r-- 1 root root      0 Aug 19 12:56 /var/log/httpd_ssl_request_log

 

这里,需要说明下用法,何时日志会写入 access_log , error_log 或 ssl_access_log , ssl_error_log , ssl_request_log

顾名思义,访问 http 会写入 access_log , error_log ,访问 https 会写入 ssl_access_log , ssl_error_log , ssl_request_log

那么,何时又写入自定义的  日志文件呢?

<VirtualHost *:80>
     ......
    DirectoryIndex index.php index.html index.htm
    ErrorLog /var/log/blog.mimvp.com-error_log
    CustomLog /var/log/blog.mimvp.com-access_log
combined
</VirtualHost>

答案是若指定了 VirtualHost 中的日志路径,则直接写入指定的日志文件,不再写入 access_log,错误日志也如此

具体请见 conf/httpd.conf 中的日志说明文档:

    #
    # The location and format of the access logfile (Common Logfile Format).
    #
If you do not define any access logfiles within a <VirtualHost>
    # container, they will be logged here.  Contrariwise, if you *do*
    # define per-<VirtualHost> access logfiles, transactions will be
    # logged therein and *not* in this file.
    #

#    CustomLog "logs/access_log" common
#    CustomLog "/var/log/httpd_access_log" common

    #
    #
If you prefer a logfile with access, agent, and referer information
    # (Combined Logfile Format) you can use the following directive.
    #
#    CustomLog "logs/access_log" combined
    CustomLog "/var/log/httpd_access_log" combined

如上,实际解决了两个问题:

1. 若 VirtualHost 没有指定日志路径,则默认写入 access_log 文件;若指定了,则写入指定日志文件

2. common 是默认的日志格式,若想更多的日志字段,可以注释掉 common,启用 combined 

3. 以上注释掉了 common,启用了 combined,且修改了 access_log 前缀名称和存储路径

上面给出了配置结果,下文讲详细介绍为何这么配置,开始吧。。。

 

2、Apache访问日志格式详解   

访问日志access_log记录了所有对Web服务器的访问活动,httpd.conf 配置文件里默认的日志配置如下:

vim /usr/local/httpd/conf/httpd.conf

<IfModule log_config_module>
    LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
    LogFormat "%h %l %u %t \"%r\" %>s %b" common
    
  <IfModule logio_module>
    # You need to enable mod_logio.c to use %I and %O
    LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %I %O" combinedio
  </IfModule>
  
  CustomLog "logs/access_log"
common

    #CustomLog "logs/access_log" combined
</IfModule>

其中,日志格式参数的含义

%…a: 远程IP地址
%…A: 本地IP地址
%…B: 已发送的字节数,不包含HTTP头

%…b: CLF格式的已发送字节数量,不包含HTTP头。例如当没有发送数据时,写入‘-’而不是0。
%…{FOOBAR}e: 环境变量FOOBAR的内容
%…f: 文件名字

%…h: 远程主机
%…H 请求的协议
%…{Foobar}i: Foobar的内容,发送给服务器的请求的标头行。

%…l: 远程登录名字(来自identd,如提供的话)
%…m 请求的方法
%…{Foobar}n: 来自另外一个模块的注解“Foobar”的内容
%…{Foobar}o: Foobar的内容,应答的标头行
%…p: 服务器响应请求时使用的端口
%…P: 响应请求的子进程ID。
%…q 查询字符串(如果存在查询字符串,则包含“?”后面的部分;否则,它是一个空字符串。)

%…r: 请求的第一行,如 "GET / HTTP/1.1"
%…>s: 状态。对于进行内部重定向的请求,这是指*原来*请求 的状态。如果用%…>s,则是指后来的请求。
%…t: 以公共日志时间格式表示的时间(或称为标准英文格式)
%…{format}t: 以指定格式format表示的时间
%…T: 为响应请求而耗费的时间,以秒计

%…D: Apache 2.0 开始,提供了一个新的参数 %D。可以记录服务器处理请求的微秒时间
%…u: 远程用户(来自auth;如果返回状态(%s)是401则可能是伪造的)
%…U: 用户所请求的URL路径
%…v: 响应请求的服务器的ServerName
%…V: 依照UseCanonicalName设置得到的服务器名字

下面是访问日志access_log中的一个标准记录

192.168.115.5 - - [01/Apr/2018:10:37:19 +0800] "GET / HTTP/1.1" 200 45

日志字段所代表的内容如下:

1. 远程主机IP:表明访问网站的是谁 

2. - 空白(远程登录用户名E-mail):为了避免用户的邮箱被垃圾邮件骚扰,第二项就用“-”取代了

3. - 空白(登录名):用于记录浏览者进行身份验证时提供的名字。

4. 请求时间:用方括号包围,而且采用“公用日志格式”或者“标准英文格式”。 时间信息最后的“+0800”表示服务器所处时区位于UTC之后的8小时。

5. 请求的第一行,方法+资源+协议:服务器收到的是一个什么样的请求。该项信息的典型格式是“METHOD RESOURCE PROTOCOL”,即“方法 资源 协议”。

METHOD: GET、POST、HEAD、……
RESOURCE: /、index.html、/default/index.php、……(请求的文件)
PROTOCOL: HTTP+版本号

6. 状态代码:请求是否成功,或者遇到了什么样的错误。大多数时候,这项值是200,它表示服务器已经成功地响应浏览器的请求,一切正常。

7. 发送字节数:表示发送给客户端的总字节数。它告诉我们传输是否被打断(该数值是否和文件的大小相同)。把日志记录中的这些值加起来就可以得知服务器在一天、一周或者一月内发送了多少数据。

 

关于Apache处理耗时的时间参数

Apache的日志有很多可以自己定义的项目,其中一个 %T 能够显示出服务器处理请求所用的时间,单位秒。

在Apache2的中文手册中,是这样定义 %T 这个变量的。

%T   处理完请求所花时间,以秒为单位。

在Apache2的英文文档中,定义如下:

%T   the time taken to server the request, in seconds.

由此可见,%T  这个时间表示的是服务器处理这个请求的总时间。 而不是Apache服务器解析PHP脚本,并且输出脚本的时间。因此,我们可以看到同样的一个页面,网速比较慢的用户访问时间会长,而网速较快的用户访问,则时间比较短。

%T记录的是以秒为单位的时间,这对于我们来说是不太够的。因为很多情况下,我们需要保证我们网页的响应速度在1秒以内。

从Apache 2.0 开始,提供了一个新的参数 %D。可以记录服务器处理请求的微秒时间(注意和%T的定义不同)。

我在服务器上做了一次测试,代码中嵌入了一个执行时间的检查判断,同时监视日志文件中产生的时间。结果为:页面监测脚本执行时间为10009206毫秒,而日志中记录的是10009838,两者时间并不一样,日志中记录的时间稍微长一些,包含了DNS查询等一系列的过程。

PS:由这个问题也可以衍生出一个如何测算客户端网速的问题。有这样一个办法,在Header中输出服务器的响应时间,用户收到后,判断收到的时间,这个时间差就是在服务器和客户端之间所消耗的时间。

参考资料: 

1、Apache 2手册 

2、Apache logs: how log does it take to server a request?

There are many other logging related parameters in apache2 and here is the full list for apache2.2 mod_log_config module:

%%   The percent sign
%a    Remote IP-address
%A    Local IP-address
%B    Size of response in bytes, excluding HTTP headers.
%b    Size of response in bytes, excluding HTTP headers. In CLF format, i.e. a '-' rather than a 0 when no bytes are sent.
%{Foobar}C    The contents of cookie Foobar in the request sent to the server.

%D    The time taken to serve the request, in microseconds.
%{FOOBAR}e    The contents of the environment variable FOOBAR
%f    Filename
%h    Remote host
%H    The request protocol
%{Foobar}i    The contents of Foobar: header line(s) in the request sent to the server.
%l    Remote logname (from identd, if supplied). This will return a dash unless mod_ident is present and IdentityCheck is set On.
%m    The request method
%{Foobar}n    The contents of note Foobar from another module.
%{Foobar}o    The contents of Foobar: header line(s) in the reply.
%p    The canonical port of the server serving the request
%P    The process ID of the child that serviced the request.
%{format}P    The process ID or thread id of the child that serviced the request. Valid formats are pid, tid, and hextid. hextid requires APR 1.2.0 or higher.
%q    The query string (prepended with a ? if a query string exists, otherwise an empty string)
%r    First line of request
%s    Status. For requests that got internally redirected, this is the status of the *original* request --- %>s for the last.
%t    Time the request was received (standard english format)
%{format}t    The time, in the form given by format, which should be in strftime(3) format. (potentially localized)

%T    The time taken to serve the request, in seconds.
%u    Remote user (from auth; may be bogus if return status (%s) is 401)
%U    The URL path requested, not including any query string.
%v    The canonical ServerName of the server serving the request.
%V    The server name according to the UseCanonicalName setting.
%X    Connection status when response is completed:
X =   connection aborted before the response completed.
+ =   connection may be kept alive after the response is sent.
- =   connection will be closed after the response is sent.
(This directive was %c in late versions of Apache 1.3, but this conflicted with the historical ssl %{var}c syntax.)

%I    Bytes received, including request and headers, cannot be zero. You need to enable mod_logio to use this.
%O    Bytes sent, including headers, cannot be zero. You need to enable mod_logio to use this.

%{SSL_PROTOCOL}x    SSL协议版本,例如 TLSv1.2, TLSv1.1
%{SSL_CIPHER}x    SSL协议交换数据中的算法,例如RC4-SHA,ECDHE-RSA-AES128-GCM-SHA256,ECDHE-RSA-AES256-GCM-SHA384

说明:%{SSL_PROTOCOL} 和 %{SSL_PROTOCOL} 在配置文件 conf/extra/httpd-ssl.conf 可查看到

 

3、Apache访问日志配置

1)访问日志格式分类

apache中日志记录格式主要有两种,普通型(common)和复合型(combined),安装时默认使用普通型(common)类型日志记录访问信息,自定义日志格式可以使用复合型(combined)

2)配置Apache访问日志格式命令及参数

配置Apache访问日志格式主要有两个参数,即LogFormat指令和CustomLog指令

LogFormat指令:定义格式并为格式指定一个名字,例如名字为 common、combined,以后我们就可以直接引用这个名字。

CustomLog指令:设置日志文件保存路径,并指明日志文件所用的格式,通过LogFormat指令格式的名字 common、combined 来引用日志格式

 

在apache的配置文件httpd.conf中,默认日志配置是 common :

LogFormat "%h %l %u %t "%r" %>s %b" common   定义格式和名字

CustomLog "logs/access.log" common    启用默认的普通文件记录

%h

%l

%u

%t

%r

%>s

%b

远端主机

远端登录名

远程用户名

时间

请求第一行

状态码

传送字节数

 

在apache的配置文件httpd.conf中,可以自定义日志配置 combined:

 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

 CustomLog   logs/access_log combined     启用自定义的复合日志记录

%{Referer}i\

\"%{User-Agent}i\

请求来源

客户端浏览器提供的浏览器识别信息

CustomLog 访问日志文件的位置实际上是一个配置选项,如果我们检查httpd.conf配置文件,可以看到该文件中有如下这行内容: 

CustomLog /usr/local/apache/logs/access_log common 

CustomLog指令指定了保存日志文件的具体位置以及日志的格式 common日志格式,自从有了Web服务器开始,common格式就是它的标准格式。

 

如果想打印更多日志信息,可以使用自定义的复合日志,则把 common 替换成 combined 即可,例如:

把配置项 

CustomLog "/var/log/httpd_access_log" common

修改为

CustomLog "/var/log/httpd_access_log" combined

 

4、Apache错误日志格式详解

错误日志的文件名字是error_log(Windows平台是error.log)。

错误日志的位置可以通过ErrorLog指令设置:ErrorLog logs/error.log , 除非文件位置用根“/”开头,否则这个文件位置是相对于ServerRoot目录的相对路径。

错误日志无论在格式上,还是在内容上,都和访问日志不同

然而,错误日志和访问日志一样也提供丰富的信息,我们可以利用这些信息分析服务器的运行情况、哪里出现了问题。

错误日志记录了服务器运行期间遇到的各种错误,以及一些普通的诊断信息,比如服务器何时启动、何时关闭等。我们可以设置日志文件记录信息级别的高低,控制日志文件记录信息的数量和类型。这是通过LogLevel指令设置的,该指令默认设置的级别是error,即记录称得上错误的事件。

有关LogLevel指令中允许设置的各种选项的完整清单,请参见http://www.apache.org/docs/mod/core.html#loglevel的Apache文档。 

我们在日志文件中见到的内容分属两类:文档错误和CGI错误。但是,错误日志中偶尔也会出现配置错误,另外还有前面提到的服务器启动和关闭信息。

1)文档错误

文档错误和服务器应答中的400系列代码相对应,最常见的就是404错误——Document Not Found(文档没有找到)。除了404错误以外,用户身份验证错误也是一种常见的错误。

404错误在用户请求的资源(即URL)不存在时出现,它可能是由于用户输入的URL错误,或者由于服务器上原来存在的文档因故被删除或移动。  

因此建议在不提供重定向或者其他补救措施的情况下,我们永远不应该移动或者删除Web网站的任何资源。  

当用户不能打开服务器上的文档时,错误日志中出现的记录如下所示:           

[Fri Mar 30 14:45:09 2018] [error] [client 192.168.115.120] 

File does not exist:  /usr/local/apache/bugletdocs/Img/south-korea.gif

错误日志格式说明:

1. 错误发生的日期和时间

2. 错误的级别或严重性

3. 导致错误的IP地址

4. 错误信息本身。

可以看到,正如访问日志access_log文件一样,错误日志记录也分成多个项。错误记录的开头是日期/时间标记,注意它们的格式和access_log中日期/时间的格式不同。access_log中的格式被称为“标准英文格式”。 

错误记录的第二项是当前记录的级别,它表明了问题的严重程度。这个级别信息可能是LogLevel指令的文档中所列出的任一级别(参见前面LogLevel的链接),error级别处于warn级别和crit级别之间。404属于error错误级别,这个级别表示确实遇到了问题,但服务器还可以运行。  

错误记录的第三项表示用户发出请求时所用的IP地址。 

记录的最后一项才是真正的错误信息。对于404错误,它还给出了完整路径指示服务器试图访问的文件。当我们料想某个文件应该在目标位置却出现了404错误时,这个信息是非常有用的。此时产生这种错误的原因往往是由于服务器配置错误、文件实际所处的虚拟主机和我们料想的不同,或者其他一些意料不到的情况。  
由于用户身份验证问题而出现的错误记录如下所示:    

[Fri Mar 30 14:53:15 2018] [error] [client 192.168.115.120]

user rbowen@rcbowen.com : authentication failure for "/cgi-bin/hirecareers/company.cgi" : password mismatch  

注意:由于文档错误是用户请求的直接结果,因此它们在访问日志中也会有相应的记录。  

2)CGI错误

错误日志最主要的用途或许是诊断行为异常的CGI程序。为了进一步分析和处理方便,CGI程序输出到STDERR(Standard Error,标准错误设备)的所有内容都将直接进入错误日志。这意味着,任何编写良好的CGI程序,如果出现了问题,错误日志就会告诉我们有关问题的详细信息。 

然而,把CGI程序错误输出到错误日志也有它的缺点,错误日志中将出现许多没有标准格式的内容,这使得用错误日志自动分析程序从中分析出有用的信息变得相当困难。 

下面是一个例子,它是调试Perl CGI代码时,错误日志中出现的一个错误记录: 

[Web Mar 30 15:32:10 2018] [error] [client 192.168.115.120] Premature 

end of script headers: /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi

Global symbol "$rv" requires explicit package name at 

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 81.

Global symbol "�tails" requires explicit package name at 

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 84.

Global symbol "$Config" requires explicit package name at 

/usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi line 133.

Execution of /usr/local/apache/cgi-bin/HyperCalPro/announcement.cgi 

aborted due to compilation errors.  

可以看到,CGI错误和前面的404错误格式相同,包含日期/时间、错误级别以及客户地址、错误信息。但这个CGI错误的错误信息有好几行,这往往会干扰一些错误日志分析软件的工作。 

有了这个错误信息,即使是对Perl不太熟悉的人也能够找出许多有关错误的信息,例如至少可以方便地得知是哪几行代码出现了问题。Perl在报告程序错误方面的机制是相当完善的。当然,不同的编程语言输出到错误日志的信息会有所不同。 

由于CGI程序运行环境的特殊性,如果没有错误日志的帮助,大多数CGI程序的错误都将很难解决。 

有不少人在邮件列表或者新闻组中抱怨说自己有一个CGI程序,当打开网页时服务器却返回错误,比如“Internal Server Error”。我们可以肯定,这些人还没有看过服务器的错误日志,或者根本不知道错误日志的存在。决多大多数情况下,错误日志能够精确地指出CGI错误的所在以及如何修正这个错误。

 

5、查看服务器日志方法

在服务器维护时,经常会遇到各种错误,不断地检查服务器的日志,可以方便知道哪儿出了问题。

用ssh远程连接到服务器,然后输入下面的命令,可以动态显示错误日志后几行内容,方便进行排错。

tail -f /usr/local/apache/logs/error_log       

无论具体采用的是哪一种方法,同时打开多个终端窗口都是一种好习惯:比如在一个窗口中显示错误日志,在另一个窗口中显示访问日志。这样,我们就能够随时获知网站上发生的事情并立即予以解决。

       

6、Apache日志的定制

有时候我们需要定制Apache默认日志的格式和内容,比如增加或减少日志所记录的信息、改变默认日志文件的格式等。

1)定义日志格式及格式串变量含义详解

定制日志文件的格式涉及到两个指令,即LogFormat指令和CustomLog指令。默认httpd.conf文件提供了关于这两个指令的几个示例。  

LogFormat指令:定义日志格式并为它指定一个名字,以后就可以直接引用这个名字。

CustomLog指令:设置日志文件,并指明日志文件所用的格式(通常通过格式的名字)。  

LogFormat指令在默认的httpd.conf文件中,我们可以找到下面这行代码:  

LogFormat "%h %l %u %t \"%r\" %>s %b" common   

该指令创建了一种名为“common”的日志格式,日志的格式在双引号包围的内容中指定

格式字符串中的每一个变量代表着一项特定的信息,这些信息按照格式串规定的次序写入到日志文件。   

Apache文档已经给出了所有可用于格式串的变量及其含义,下面是其译文:  

%a: 远程IP地址  
%A: 本地IP地址  
%B: 已发送的字节数,不包含HTTP头  
%b: CLF格式的已发送字节数量,不包含HTTP头。例如当没有发送数据时,写入‘-’而不是0。  
%{FOOBAR}e: 环境变量FOOBAR的内容  
%f: 文件名字  
%h: 远程主机  
%H 请求的协议  
%Foobar}i: Foobar的内容,发送给服务器的请求的标头行。  
%l: 远程登录名字(来自identd,如提供的话)  
%m: 请求的方法  
%{Foobar}n: 来自另外一个模块的注解“Foobar”的内容  
%{Foobar}o: Foobar的内容,应答的标头行  
%p: 服务器响应请求时使用的端口  
%P: 响应请求的子进程ID。  
%q: 查询字符串(如果存在查询字符串,则包含“?”后面的部分;否则,它是一个空字符串。)  
%r: 请求的第一行  
%s: 状态。对于进行内部重定向的请求,这是指*原来*请求的状态。如果用%...>s,则是指后来的请求。  
%t: 以公共日志时间格式表示的时间(或称为标准英文格式)  
%{format}t: 以指定格式format表示的时间  
%T: 为响应请求而耗费的时间,以秒计  
%u: 远程用户(来自auth;如果返回状态(%s)是401则可能是伪造的)  
%U: 用户所请求的URL路径  
%v: 响应请求的服务器的ServerName  
%V: 依照UseCanonicalName设置得到的服务器名字  

%I    Bytes received, including request and headers, cannot be zero. You need to enable mod_logio to use this.
%O    Bytes sent, including headers, cannot be zero. You need to enable mod_logio to use this.

%{SSL_PROTOCOL}x    SSL协议版本,例如 TLSv1.2, TLSv1.1
%{SSL_CIPHER}x    SSL协议交换数据中的算法,例如RC4-SHA,ECDHE-RSA-AES128-GCM-SHA256,ECDHE-RSA-AES256-GCM-SHA384

说明:%{SSL_PROTOCOL} 和 %{SSL_PROTOCOL} 在配置文件 conf/extra/httpd-ssl.conf 可查看到

 

日志配置示例

LogFormat "%{%Y-%m-%dT%H:%M:%S+08:00}t %h %u \"%m %U%q %H\" \"%U\" - %>s %T/%D %I %b/%O %{SSL_PROTOCOL}x %{SSL_CIPHER}x - %{Referer}i %{X-Forwarded-For}i \"%{User-Agent}i\"" customlog

对应的运行日志:

2018-11-20T15:54:50+08:00 106.39.149.200 - "GET /article/27722.html?preview=true HTTP/1.1" "/article/27722.html" - 200 0/766909 1127 33706/34382 TLSv1.2 ECDHE-RSA-AES256-GCM-SHA384 - https://blog.mimvp.com/wp-admin/edit.php?s=apache+%E6%97%A5%E5%BF%97&post_status=all&post_type=post&action=-1&m=0&cat=0&paged=1&action2=-1 - "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
2018-11-20T15:54:52+08:00 106.39.149.200 - "GET /wp-admin/admin-ajax.php?postviews_id=27722&action=postviews&_=1542700491730 HTTP/1.1" "/wp-admin/admin-ajax.php" - 200 0/369179 1190 3/466 TLSv1.2 ECDHE-RSA-AES256-GCM-SHA384 - https://blog.mimvp.com/article/27722.html?preview=true - "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"
2018-11-20T15:54:54+08:00 106.39.149.200 - "GET /article/27722.html?preview=true HTTP/1.1" "/article/27722.html" - 200 0/771146 1153 33705/34381 TLSv1.2 ECDHE-RSA-AES256-GCM-SHA384 - https://blog.mimvp.com/wp-admin/edit.php?s=apache+%E6%97%A5%E5%BF%97&post_status=all&post_type=post&action=-1&m=0&cat=0&paged=1&action2=-1 - "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"

httpd.conf 日志格式对应的 nginx 日志格式如下:

    log_format   main   '$time_iso8601 $remote_addr $remote_user "$request" "$uri" - '
                        '$status $request_time $request_length $body_bytes_sent/$bytes_sent $ssl_protocol $ssl_cipher - '
                        '$http_referer $http_x_forwarded_for "$http_user_agent"';

详见米扑博客:Nginx 日志格式详解

 

分析前面来自默认httpd.conf文件的LogFormat指令示例,可以看出它创建了一种名为“common”的日志格式,其中包括:

远程主机,远程登录名字,远程用户,请求时间,请求的第一行代码,请求状态,以及发送的字节数

LogFormat "%V %h %l %u %t \"%r\" %>s %b" common

解释:"<"和">"修饰符可以用来指定对于已被内部重定向的请求是选择原始的请求(<)还是选择最终的请求(>)。默认情况下,%s, %U, %T, %D, %r 使用原始请求,而所有其他格式串则选择最终请求。例如,%>s 可以用于记录请求的最终状态,而 %<u 则记录一个已经被内部重定向到非认证资源的请求的原始认证用户

如果在“%”和变量之间放入了一个或者多个HTTP状态代码,则只有当请求返回的状态代码属于指定的状态代码之一时,变量所代表的内容才会被记录。

例如,如果我们想要记录的是网站的所有无效链接,那么可以使用:      

LogFormat @4{Referer}i BrokenLinks   

反之,如果我们想要记录那些状态代码不等于指定值的请求,只需加入一个“!”符号即可: 

LogFormat %!200U SomethingWrong   

 

7、日志中记录的相关信息说明

有许多信息可以用日志文件来记录,其中包括:  

1)远程机器的地址:“远程机器的地址”和“谁在浏览网站”差不多,但并不等同。 

2)浏览时间:浏览者何时开始访问网站?从这个问题的答案中我们能够了解不少情况。从单个访问记录能够得到的信息非常有限,但如果从数千个访问记录出发,我们就可以得到非常有用和重要的统计信息。  

3)用户所访问的资源:网站的哪些部分最受用户欢迎?这些最受欢迎的部分就是我们应该继续加以发展的部分。网站的哪些部分总是受到冷落?网站中这些受到冷落的部分或许隐藏得太深,或许它们确实没有什么意思,此时我们就得想办法加以改进。当然,网站还有的内容,比如法律上的声明,虽然很少有人访问,但却不应该随便地改动它们。  

4)无效链接:当然,日志文件还能够告诉我们哪些东西不能按照我们所想象地运行。网站中是否存在错误的链接?其他网站链接过来时有没有搞错URL?是否存在不能正常运行的CGI程序?是否有搜索引擎检索程序每秒发出数千个请求,从而影响了本网站的正常服务?这些问题的答案都可以从日志文件找到线索。

 

 

参考推荐

Apache 设置禁止访问网站目录

Apache 封禁IP及IP段访问

Apache 实现https+Apache http访问转到https

Nginx 配置文件禁止访问目录或文件

Nginx 配置文件详解

Apache 服务器负载低访问慢的原因分析和优化方案