sar(System ActivityReporter系统活动情况报告)是目前Linux上最为全面的系统性能分析工具之一,可以从多方面对系统的活动进行报告,包括:文件的读写情况、系统调用的使用情况、磁盘I/O、CPU效率、内存使用状况、进程活动及IPC有关的活动等

1.常用命令

用法: sar [ 选项 ] [ <时间间隔> [ <次数> ] ]
-b:显示I/O和传递速率的统计信息
-d:输出每一块磁盘的使用信息
-e:设置显示报告的结束时间;参数[ hh:mm:ss> ]
-f:从指定的文件读取报告
-R:显示内存状态
–u:输出cpu使用情况和统计信息
-w:显示交换分区的状态
-r:报告内存利用率的统计信息

2.CPU使用情况

sar -u #统计CPU的使用情况

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
# sar -u 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 01/26/2018 _i686_ (1 CPU)
01:38:27 AM CPU %user %nice %system %iowait %steal %idle
01:38:28 AM all 0.00 0.00 0.00 0.00 0.00 100.00
Average: all 0.00 0.00 0.00 0.00 0.00 100.00

CPU:all 表示统计信息为所有 CPU 的平均值。

%user:用户级别(application)运行使用 CPU 总时间的百分比。

%nice:改变过优先级的进程的CPU使用率。

%system:在核心级别(kernel)运行所使用 CPU 总时间的百分比。

%iowait:用于等待I/O操作占用 CPU 总时间的百分比。

%steal:程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。

%idle:CPU 空闲时间占用 CPU 总时间的百分比。

从上面信息可以看到的信息包括日期、时间、主机名、内核、CPU个数等,分析CPU使用情况,主要看%iowait和%idle,%iowait过高表示存在I/O瓶颈,即磁盘IO无法满足业务需求,如果%idle过低表示CPU使用率比较严重,需要结合内存使用等情况判断CPU是否瓶颈。

3.进程队列长度和平均负载状态监控

sar -q #查看程队列长度和平均负载

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
# sar -q 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 01/30/2018 _i686_ (1 CPU)
03:18:01 AM runq-sz plist-sz ldavg-1 ldavg-5 ldavg-15
03:18:02 AM 0 113 0.00 0.00 0.00
Average: 0 113 0.00 0.00 0.00

runq-sz:运行队列的长度(等待运行的进程数,每核的CP不能超过3个)

plist-sz:进程列表中进程(processes)和线程(threads)的数量

ldavg-1:最后1分钟的系统平均负载(System load average)

ldavg-5:过去5分钟的系统平均负载

ldavg-15:过去15分钟的系统平均负载

4.内存和交换空间使用情况

sar -r #查看内存和交换空间情况

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
# sar -r 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 01/30/2018 _i686_ (1 CPU)
03:23:37 AM kbmemfree kbmemused %memused kbbuffers kbcached kbcommit %commit
03:23:38 AM 361040 159092 30.59 72176 44704 61936 9.45
Average: 361040 159092 30.59 72176 44704 61936 9.45

kbmemfree:空闲的物理内存大小;和free命令中的free值基本一致,所以它不包括buffer和cache的空间.

kbmemused:使用中的物理内存大小;和free命令中的used值基本一致,所以它包括buffer和cache的空间.

%memused:物理内存使用率;这个值是kbmemused和内存总量(不包括swap)的一个百分比.

kbbuffers:内核中作为缓冲区使用的物理内存大小;free命令中的buffer.

kbcached:缓存的文件大小;free命令中的cache

kbcommit:保证当前系统所需要的内存,即为了确保不溢出而需要的内存(RAM+swap).

%commit:这个值是kbcommit与内存总量(包括swap)的一个百分比.

sar -W #查看系统swap分区的统计信息

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
# sar -W 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 02/02/2018 _i686_ (1 CPU)
01:36:19 AM pswpin/s pswpout/s
01:36:20 AM 0.00 0.00
Average: 0.00 0.00

pswpin/s: 每秒从交换分区到系统的交换页面(swap page)数量

pswpott/s: 每秒从系统交换到swap的交换页面(swap page)的数量

5.磁盘的使用监控

sar -d -p #查看I/O和传递速率的统计信息,-p 打印磁盘设备名称

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
7
8
# sar -d -p 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 02/02/2018 _i686_ (1 CPU)
01:40:48 AM DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
01:40:49 AM sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util
Average: sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

tps: 每秒从物理磁盘I/O的次数.

rd_sec/s: 每秒读扇区的次数.

wr_sec/s: 每秒写扇区的次数.

avgrq-sz: 平均每次设备I/O操作的数据大小(扇区).

avgqu-sz: 磁盘请求队列的平均长度.

await: 从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒).

svctm: 系统处理每次请求的平均时间,不包括在请求队列中消耗的时间.

%util: I/O请求占CPU的百分比,比率越大,说明越饱和.

sar -b #I/O和传送速率监控

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
# sar -b 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 02/02/2018 _i686_ (1 CPU)
02:10:06 AM tps rtps wtps bread/s bwrtn/s
02:10:07 AM 0.00 0.00 0.00 0.00 0.00
Average: 0.00 0.00 0.00 0.00 0.00

tps 磁盘每秒钟的IO总数

rtps 每秒钟从磁盘读取的IO总数

wtps 每秒钟从写入到磁盘的IO总数

bread/s 每秒钟从磁盘读取的块总数

bwrtn/s 每秒钟此写入到磁盘的块总数

6.统计网络信息

sar -n #可以统计的选项有多个,常用包括DEV、EDEV、SOCK、TCP、IP等

每间隔1秒钟统计一次总共统计一次:

1
2
3
4
5
6
7
8
9
10
# sar -n DEV 1 1
Linux 4.10.4-1.el6.elrepo.i686 (host.localdomain) 02/02/2018 _i686_ (1 CPU)
02:47:29 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
02:47:30 AM eth0 3.00 1.00 0.18 0.15 0.00 0.00 0.00
02:47:30 AM lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s
Average: eth0 3.00 1.00 0.18 0.15 0.00 0.00 0.00
Average: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00

IFACE 本地网卡接口的名称

rxpck/s 每秒钟接受的数据包

txpck/s 每秒钟发送的数据库

rxKB/S 每秒钟接受的数据包大小,单位为KB

txKB/S 每秒钟发送的数据包大小,单位为KB

rxcmp/s 每秒钟接受的压缩数据包

txcmp/s 每秒钟发送的压缩包

rxmcst/s 每秒钟接收的多播数据包

7.排查系统瓶颈和监控

怀疑CPU存在瓶颈,可用 sar -u 和 sar -q 等来查看

怀疑内存存在瓶颈,可用 sar -B、sar -r 和 sar -W 等来查看

怀疑I/O存在瓶颈,可用 sar -b、sar -u 和 sar -d 等来查看

查看系统流量,可用sar -n DEV