什么是基准测试
定义：
基准测试是一种测量和评估软件性能指标的活动。用于建立某个时刻的性能基准，以便系统发生软硬件变化时重新进行基准俄式以评估变化对性能的影响。
基准测试和压力测试的区别：
基准测试比较直接、简单、易于比较，用于评估服务器的处理能力。基准测试可能不关心业务逻辑，所使用的查询的真实性可以和业务环境没关系。
压力测试是对真实的业务数据进行测试，获得真实系统所能承受的压力。压力测试需要针对不同的主题，所使用的数据和查询也是真实用到的。
如何进行基准测试
基准测试的目的
- 建立MySQL服务器的性能基准线
确定当前MySQL服务器运行情况 - 模拟比当前系统更高的负载，以找出系统的拓展瓶颈
通过增加数据库的并发，观察QPS,TPS变化，确定并发量与性能最优的关系 - 测试不同的硬件、软件和操作系统配置
- 证明新的硬件设备是否配置正确
如何进行基准测试
对整个系统进行基准测试：
- 从系统入口进行测试（如网站Web前端，手机APP前端）。优点在于1.能够测试整个系统的性能，包括Web服务器缓存、数据库等。2.能够反映出系统中各个组件接口的性能问题体现真实性能状况。缺点在于测试设计复杂，消耗时间长。
- 单独对MySQL进行基准测试。优点在于测试设计简单，所需耗费时间短。缺点在于无法全面了解整个系统的性能基准线。
MySQL基准测试的常见指标
- 单位时间内所处理的事务数（TPS）
- 单位时间内所处理的查询数（QPS）
- 响应时间：平均响应时间、最小响应时间、最大响应时间、各时间所占百分比
- 并发量：同时处理查询请求的数量（基准测试需要关注正在工作中的并发的操作或同时工作的数量，而不是有多少连接的线程）
基准测试的步骤
计划和设计基准测试
- 对整个系统还是某一组件
- 使什么样的数据
- 准备基准测试及数据收集脚本
一般情况下在测试系统时，我们需要尽可能多的收集测试系统的当前信息，包括CPU使用率、IO、网络流量、状态与计数器信息等 - 运行基准测试
- 保存及分析基准测试结果
基准测试中容易忽略的问题
- 使用生产环境数据时只使用了部分数据（推荐使用数据库完全备份来测试）
- 在多用户场景中，只做单用户的测试（推荐使用多线程的并发测试）
- 在单服务器上测试分布式应用（推建使用相同的架构进行测试）
- 反复执行同一查询（容易缓存命中，无法反应真实查询性能）
常用的基准测试攻击
mysqlslap
MySQL服务器自带的基准测试工具，随MySQL一起安装
特点：
- 可以模拟服务器负载，并输出相关统计信息
- 可以指定也可以自动生成查询语句
常用参数说明：
--auto-generate-sql 由系统自动生成SQL脚本进行测试
--auto-generate-sql-add-autoincrement在生成的表中增加自增ID
--auto-generate-sql-load-type指定测试中使用的查询类型
--auto-generate-sql-write-number指定初始化数据时生成的数据量
--concurrency指定并发线程的数量
--engine指定要测试表的存储引擎，可以用逗号分隔多个存储引擎
--no-drop指定不清理测试数据
--iterations指定运行的次数
--number-of-queries指定每一个线程执行的查询数量
--debug-info指定输出额外的内存及CPU统计信息
--number-int-cols指定测试表中包含的INT类型列的数量
--number-char-cols指定测试表中包含的varchar类型的数量
--create-schema指定了用于执行测试的数据库的名字
--query用于指定自定义SQL脚本
--only-print并不运行测试脚本，而是把生成的脚本打印出来
sysbench
安装说明
下载地址：https://github.com/akopytov/sysbench/archive/0.5.zip
unzip sysbench-0.5.zip
cd sysbench
./autogen.sh
./configure --with-mysql-includes=/usr/local/mysql/include/
--with-mysql-libs=/usr/local/mysql/lib/
make && make install
sysbench --help
常用参数说明：
--test用于指定所需要执行的测试类型，支持以下参数
Fileio 文件系统IO性能测试
cpu cpu性能测试
memory 内存性能测试
Oltp 测试要指定具体的lua脚本
Lua脚本位于 sysbench-0.5/sysbench/tests/db
--mysql-db 用于指定执行基准测试的数据库名
--mysql-table-engine 用于指定所使用的存储引擎
--oltp-tables-count 执行测试的表的数量
--num-threads 指定测试的并发线程数量
--max-time 指定最大的测试时间
--report-interval 指定间隔多长时间输出一次统计信息
--mysql-user 指定执行测试的MySQL用户
--mysql-password 指定执行测试的MySQL用户的密码
prepare 用于准备测试数据
run 用于实际进行测试
cleanup 用于清理测试数据