服务器的TPS、QPS、RT、吞吐量

TPS （Transactions Per Second，事务数/秒）

TPS 是软件测试结果的测量单位。

一个事务是指一个客户机向服务器发送请求，然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数，最终利用这些信息来估计得分。

TPS 的每秒处理事务过程包括：

1）客户端请求服务端

2）服务端内部处理

3）服务端返回客户端

这三个过程，每秒能够完成N个这三个过程，TPS也就是N

例如，访问一个 Index 页面会请求服务器 3 次，包括一次 html，一次 css，一次 js，那么访问这一个页面就会产生一个“T”，产生三个“Q”，即三次请求一次事务。

客户机使用加权协函数平均方法来计算客户机的得分，测试软件就是利用客户机的这些信息使用加权协函数平均方法来计算服务器端的整体TPS得分。

Transactions Per Second（每秒传输的事物处理个数），即服务器每秒处理的事务数。

TPS包括一条消息入和一条消息出，加上一次用户数据库访问。

业务TPS = CAPS × 每个呼叫平均TPS

一般的，评价系统性能均以每秒钟完成的技术交易的数量来衡量。

系统整体处理能力取决于处理能力最低模块的TPS值。

QPS （Queries Per Second，每秒查询率）

QPS 是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准，在因特网上，作为域名系统服务器的机器的性能经常用每秒查询率来衡量。

对应fetches/sec，即每秒的响应请求数，也即是最大吞吐能力。

具体请见米扑博客：一文秒懂 QPS、TPS、PV、UV、GMV、IP、RPS

RT（Response Time，响应时间）

响应时间，一般取平均响应时间，处理一次请求所需要的平均处理时间

响应时间是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。

响应时间是指执行一个请求从开始发出到最后收到响应数据所花费的总体时间，即从客户端发起请求到收到服务器响应结果的时间

并发数

并发数是指系统同时能处理的请求数量，一般通过线程和CPU核数来决定，并发数反应了系统的负载能力

系统吞吐量

吞吐量是指应用系统每秒钟最大能接受的用户访问量，或者每秒钟最大能处理的请求数。

吞吐量是指单位时间内系统能处理的请求数量，体现系统处理请求的能力，这是目前最常用的性能测试指标

一个系统的吞度量（承压能力）与request对CPU、内存的消耗、外部接口、带宽、磁盘IO等等紧密关联。

单个reqeust对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。

系统吞吐量几个重要参数：QPS（TPS）、并发数、响应时间

QPS（TPS）：每秒钟请求/事务数

并发数：系统能同时处理的请求/事务数

RT 响应时间：一般取平均响应时间，处理一次请求所需要的平均处理时间

计算关系：

QPS = 并发量 / 平均响应时间（推荐，这个公式更好理解）

并发量 = QPS * 平均响应时间

或

并发数 = QPS(TPS) * RT

QPS(TPS) = 并发数 / RT （推荐，这个公式更好理解）

例如：

QPS(TPS) 为一秒钟10万个，RT响应时间为1ms（毫秒），则：

并发数 = QPS(TPS) * RT = 10万 * 1ms = 100个

QPS(TPS) = 并发数 / RT = 100个 / 0.001秒 = 10万个

小结

QPS基本类似于TPS，但是不同的是，对于一个Web页面的一次访问，形成一个TPS（就做一件事儿，打开Web网页）；但一次Web页面请求，可能产生多次对服务器的请求（html、css、js、images、files等），服务器对这些请求，就可计入QPS之中。每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。

一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数。

如果是对一个接口（单场景）压测，且这个接口内部不会再去请求其它接口，那么TPS等于QPS，否则，若这个接口内部还会再去请求其它接口（下载图片、文件等服务器接口），那么 TPS不等于QPS，通常是 QPS会大于TPS

采购数据库机型为D13机型

cpu	内存	硬盘	网卡	TPS能力	QPS能力	机型
32核-E52682V4	256G DDR4	6T SSD	万兆	50000+	80000+	D13

如今的项目基本上都是前后端分离的，性能也分为前端性能和后端性能，

通常默认是后端性能，即服务端性能，也就是对服务端接口做压测。

如果是对一个接口（单场景）压测，且这个接口内部不会再去请求其它接口，那么tps=qps，否则，tps≠qps

如果是对多个接口（混合场景）压测，不加事务控制器，jmeter会统计每个接口的tps，而混合场景是要测试这个场景的tps，显然这样得不到混合场景的tps，所以，要加了事物控制器，结果才是整个场景的tps。

jmeter聚合报告中，Throughput是用来衡量吞吐量，通常由tps来表示

系统吞吐量、TPS（QPS）、用户并发量、性能测试概念和公式

下面是性能测试的主要概念和计算公式，记录下：

一、系统吞度量要素

一个系统的吞度量（承压能力）与request对CPU的消耗、外部接口、IO等等紧密关联。

单个reqeust 对CPU消耗越高，外部系统接口、IO影响速度越慢，系统吞吐能力越低，反之越高。

吞吐量体现系统处理请求的能力，这是目前最常用的性能测试指标。

吞吐量的指标受到 RT响应时间、服务器软硬件配置、网络状态等多方面因素影响。

1）响应时间越短，吞吐量越大

2）服务器硬件配置越高，吞吐量越大

3）网络越差，吞吐量越小

吞吐量常用的两个量化指标QPS（每秒查询数）、TPS（每秒事务数），另外还有HPS（每秒HTTP请求数）。

系统吞吐量几个重要参数：

QPS（TPS）、并发数、响应时间

QPS（TPS）：每秒钟request/事务数量

并发数：系统同时处理的request/事务数

响应时间：一般取平均响应时间

说明：很多人经常会把并发数和TPS理解混淆

理解了上面三个要素的意义之后，就能推算出它们之间的关系：

QPS（TPS）= 并发数/平均响应时间

并发数 = QPS*平均响应时间

一个典型的上班签到系统，早上8点上班，7点半到8点的30分钟的时间里用户会登录签到系统进行签到。

公司员工为1000人，平均每个员上登录签到系统的时长为5分钟，可以用下面的方法计算。

QPS = 1000/(30*60) 事务/秒 = 0.55人/秒

平均响应时间为 = 5*60 秒，即每个人的平均耗时

并发数 = QPS*平均响应时间 = 1000/(30*60) *(5*60) =166.7

注意：

1. 这里面向的对象是指整个系统。并发数是指系统满足业务正常使用场景下的最大并发访问数量、响应时间是系统整体对单个事务或查询的平均响应时间。

2. 一个系统吞吐量通常由 QPS（TPS）、并发数两个因素决定，每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。

再举个例子来理解下上述几个概念。

假设每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间

公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS)

机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器

每天300w PV 的在单台机器上，这台机器需要多少QPS？

( 300w * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)

如果一台机器的QPS是58，需要几台机器来支持？

139 / 58 = 3 （进一法，取上限）

示例：

单线程QPS公式，QPS=1000ms/RT

对同一个系统而言，支持的线程数越多，QPS越高。

假设一个RT是80ms，则可以很容易的计算出 QPS = 1000/80 = 12.5

多线程场景，如果把服务端的线程数提升到2，那么整个系统的QPS则为 2*（1000/80） = 25, 可见QPS随着线程的增加而线性增长，那QPS上不去就加线程呗，听起来很有道理，公司也说的通，但是往往现实并非如此。

最佳线程数量：刚好消耗完服务器的瓶颈资源的临界线程数，公式如下

最佳线程数量 =（（线程等待时间 + 线程CPU时间）/ 线程CPU时间）* CPU数量

特性：

1. 在达到最佳线程数的时候，线程数量继续递增，则QPS不变，而响应时间变长，持续递增线程数量，则QPS开始下降

2. 每个系统都有其最佳线程数量，但是不同状态下，最佳线程数量是会变化的

3. 瓶颈资源可以是CPU，可以是内存，可以是锁资源，IO资源

超过最佳线程数，会导致资源的竞争；超过最佳线程数会响应时间递增

决定系统响应时间要素

我们做项目要排计划，可以多人同时并发做多项任务，也可以一个人或者多个人串行工作，始终会有一条关键路径，这条路径就是项目的工期。

系统一次调用的响应时间跟项目计划一样，也有一条关键路径，这个关键路径是就是系统影响时间；

关键路径是有CPU运算、IO、外部系统响应等等组成。

二、系统吞吐量评估

我们在做系统设计的时候就需要考虑CPU运算、内存、带宽、IO、外部系统响应因素造成的影响以及对系统性能的初步预估。

而通常境况下，我们面对需求，我们评估出来的出来QPS、并发数之外，还有另外一个维度：日PV

通过观察系统的访问日志发现，在用户量很大的情况下，各个时间周期内的同一时间段的访问流量几乎一样。

比如工作日的每天早上，只要能拿到日流量图和QPS我们就可以推算日流量。

通常的技术方法：

1. 找出系统的最高TPS 和日PV，这两个要素有相对比较稳定的关系（除了放假、季节性因素影响之外）

2. 通过压力测试或者经验预估，得出最高TPS，然后跟进1的关系，计算出系统最高的日吞吐量。

B2B中文和淘宝面对的客户群不一样，这两个客户群的网络行为不应用，他们之间的TPS和PV关系比例也不一样。

A) 淘宝

淘宝流量图：

淘宝的TPS和PV之间的关系通常为最高TPS：PV大约为 1 : 11*3600

相当于按最高TPS访问11个小时，这个是商品详情的场景，不同的应用场景会有一些不同

B) B2B中文站

B2B的TPS和PV之间的关系不同的系统不同的应用场景比例变化比较大，粗略估计在1 : 8个小时左右的关系（2009年对offerdetail的流量分析数据）。旺铺和offerdetail这两个比例相差很大，可能是因为爬虫暂的比例较高的原因导致。

在淘宝环境下，假设我们压力测试出的TPS为100，那么这个系统的日吞吐量=100*11*3600=396万

这个是在简单（单一url）的情况下，有些页面，一个页面有多个request，系统的实际吞吐量还要小。

无论有无思考时间（T_think），测试所得的TPS值和并发虚拟用户数(U_concurrent)、Loadrunner读取的交易响应时间（T_response）之间有以下关系（稳定运行情况下）：

TPS = U_concurrent / (T_response + T_think)

并发数、QPS、平均响应时间三者之间关系

上图横坐标是并发用户数。绿线是CPU使用率；紫线是吞吐量，即QPS；蓝线是时延。

开始，系统只有一个用户，CPU工作肯定是不饱合的。

一方面该服务器可能有多个cpu，但是只处理单个进程，另一方面，在处理一个进程中，有些阶段可能是IO阶段，这个时候会造成CPU等待，但是有没有其他请求进程可以被处理）。

随着并发用户数的增加，CPU利用率上升，QPS相应也增加（公式为QPS=并发用户数/平均响应时间。）

随着并发用户数的增加，平均响应时间也在增加，而且平均响应时间的增加是一个指数增加曲线。

而当并发数增加到很大时，每秒钟都会有很多请求需要处理，会造成进程（线程）频繁切换，反正真正用于处理请求的时间变少，每秒能够处理的请求数反而变少，同时用户的请求等待时间也会变大，甚至超过用户的心理底线。

软件性能测试的基本概念和计算公式

一、软件性能的关注点

对一个软件做性能测试时需要关注那些性能呢？

我们想想在软件设计、部署、使用、维护中一共有哪些角色的参与，然后再考虑这些角色各自关注的性能点是什么，作为一个软件性能测试工程师，我们又该关注什么？

首先，开发软件的目的是为了让用户使用，我们先站在用户的角度分析一下，用户需要关注哪些性能。

对于用户来说，当点击一个按钮、链接或发出一条指令开始，到系统把结果已用户感知的形式展现出来为止，这个过程所消耗的时间是用户对这个软件性能的直观印象。也就是我们所说的响应时间，当相应时间较小时，用户体验是很好的，当然用户体验的响应时间包括个人主观因素和客观响应时间，在设计软件时，我们就需要考虑到如何更好地结合这两部分达到用户最佳的体验。如：用户在大数据量查询时，我们可以将先提取出来的数据展示给用户，在用户看的过程中继续进行数据检索，这时用户并不知道我们后台在做什么。

用户关注的是用户操作的相应时间。

其次，我们站在管理员的角度考虑需要关注的性能点。

1）响应时间
2）服务器资源使用情况是否合理
3）应用服务器和数据库资源使用是否合理
4）系统能否实现扩展
5）系统最多支持多少用户访问、系统最大业务处理量是多少
6）系统性能可能存在的瓶颈在哪里
7）更换那些设备可以提高性能
8）系统能否支持7×24小时的业务访问

再次，站在开发（设计）人员角度去考虑。

1）架构设计是否合理
2）数据库设计是否合理
3）代码是否存在性能方面的问题
4）系统中是否有不合理的内存使用方式
5）系统中是否存在不合理的线程同步方式
6）系统中是否存在不合理的资源竞争

那么站在性能测试工程师的角度，我们要关注什么呢？

一句话，我们要关注以上所有的性能点。

二、软件性能的几个主要术语

1、响应时间：对请求作出响应所需要的时间

网络传输时间：N1+N2+N3+N4

应用服务器处理时间：A1+A3

数据库服务器处理时间：A2