标签归档:性能

【性能问题排查】strace

在调试的时候,strace能帮助你追踪到一个程序所执行的系统调用。当你想知道程序和操作系统如何交互的时候,这是极其方便的,比如你想知道执行了哪些系统调用,并且以何种顺序执行。

1)跟踪进程
strace -o output.txt -T -tt -e trace=all -p 28979
上面的含义是 跟踪28979进程的所有系统调用(-e trace=all),并统计系统调用的花费时间,以及开始时间(并以可视化的时分秒格式显示),最后将记录结果存在output.txt文件里面
2)统计概要
它包括系统调用的概要,执行时间,错误等等。使用-c选项能够以一种整洁的方式展示:

[root@localhost zonewebroot]# strace -c -p 40256
Process 40256 attached - interrupt to quit
Process 40256 detached
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 56.15    0.005559           0     52617           poll
 28.23    0.002795           0     55043      2350 recvfrom
 13.08    0.001295          48        27           brk
  2.54    0.000251           0      7337           sendto
  0.00    0.000000           0         8           close
  0.00    0.000000           0        31           munmap
  0.00    0.000000           0         4           shutdown
------ ----------- ----------- --------- --------- ----------------
100.00    0.009900                115067      2350 total

3)查看线程
strace -f -F -o /tmp/strace.txt xxserver
这里 -f -F 选项告诉strace同时跟踪 fork和vfork 出来的进程,-o选项把所有strace输出写到/tmp/strace.txt里 面,xxserver 是要启动和调试的程序。
4)跟踪多个进程
比如nginx如果存在多个worker进程的话
strace $(pidof “nginx” | sed ‘s/\([0-9]*\)/-p \1/g’)

【性能问题排查】sar

1)sar -n DEV 1
$ sar -n DEV 1
Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015     _x86_64_    (32 CPU)
12:16:49 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil
12:16:50 AM      eth0  19763.00   5101.00  21999.10    482.56      0.00      0.00      0.00      0.00
12:16:50 AM        lo     20.00     20.00      3.25      3.25      0.00      0.00      0.00      0.00
12:16:50 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

sar命令在这里可以查看网络设备的吞吐率。在排查性能问题时,可以通过网络设备的吞吐量,判断网络设备是否已经饱和。如示例输出中,eth0网卡设备,吞吐率大概在22 Mbytes/s,注意这里是大B,我们需要换算成小b,等于176 Mbits/sec,没有达到1Gbit/sec的硬件上限。
在计算机网络、IDC机房中,其宽带速率的单位用bps(或b/s)表示;换算关系为:1Byte=8bit
在实际上网应用中,下载软件时常常看到诸如下载速度显示为128KB(KB/s),103KB/s等等宽带速率大小字样,因为ISP提供的线路带宽使用的 单位是比特,而一般下载软件显示的是字节(1字节=8比特),所以要通过换算,才能得实际值。然而我们可以按照换算公式换算一下:
128KB/s=128×8(Kb/s)=1024Kb/s=1Mb/s即:128KB/s=1Mb/s

2)sar -n TCP,ETCP 1
[root@localhost zonewebroot]# sar -n TCP,ETCP 1
Linux 2.6.32-431.el6.x86_64 (localhost.localdomain)     09/19/2016     _x86_64_    (32 CPU)

04:29:49 PM  active/s passive/s    iseg/s    oseg/s
04:29:50 PM      6.06     23.23   2703.03   2478.79
sar命令在这里用于查看TCP连接状态,其中包括:
active/s:每秒本地发起的TCP连接数,既通过connect调用创建的TCP连接;
passive/s:每秒远程发起的TCP连接数,即通过accept调用创建的TCP连接;
retrans/s:每秒TCP重传数量;
TCP连接数可以用来判断性能问题是否由于建立了过多的连接,进一步可以判断是主动发起的连接,还是被动接受的连接。TCP重传可能是因为网络环境恶劣,或者服务器压力过大导致丢包。

【性能问题排查】iostat

安装sysstat:

yum install sysstat
iostat -d -x -k 1
Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00   920.00    0.00   39.00     0.00  3836.00   196.72     1.00   25.54   1.72   6.70

Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00    63.00    0.00   21.00     0.00   336.00    32.00     0.17    8.14   5.57  11.70

 

字段解释:
r/s, w/s, rkB/s, wkB/s:分别表示每秒读写次数和每秒读写数据量(千字节)。读写量过大,可能会引起性能问题。
avgrq-sz:平均每次设备I/O操作的数据大小 (扇区).delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:向设备发出的请求平均数量。如果这个数值大于1,可能是硬件设备已经饱和(部分前端硬件设备支持并行写入)
await:  每一个IO请求的处理的平均时间(单位是微秒毫秒)。这里可以理解为IO的响应时间,一般地系统IO响应时间应该低于5ms,如果大于10ms就比较大了。这个时间包括了队列时间和服务时间,也就是说,一般情况下,await大于svctm,它们的差值越小,则说明队列时间越短,反之差值越大,队列时间越长,说明系统出了问题。
svctm    表示平均每次设备I/O操作的服务时间(以毫秒为单位)。如果svctm的值与await很接近,表示几乎没有I/O等待,磁盘性能很好,如果await的值远高于svctm的值,则表示I/O队列等待太长,系统上运行的应用程序将变慢。
%util: 在统计时间内所有处理IO时间,除以总共统计时间。例如,如果统计间隔1秒,该设备有0.8秒在处理IO,而0.2秒闲置,那么该设备的%util = 0.8/1 = 80%,所以该参数暗示了设备的繁忙程度。一般地,如果该参数是100%表示设备已经接近满负荷运行了。
同时可以结合vmstat 查看查看b参数(等待资源的进程数)和wa参数(IO等待所占用的CPU时间的百分比,高过30%时IO压力高)
另外 await 的参数也要多和 svctm 来参考.差的过高就一定有 IO 的问题.

【性能问题排查】mpstat

如果想看每个逻辑CPU的使用情况,在TOP的时候可以按1显示,如下所示

123

但是如果逻辑CPU比较多,例如32个的话,TOP无法显示出来,如下所示

123

则可以使用mpstat命令,该命令可以显示每个CPU的占用情况,如果有一个CPU占用率特别高,那么有可能是一个单线程应用程序引起的。

 

[root@NewBBS_SQL /]# mpstat -P ALL 1
Linux 2.6.18-92.el5 (NewBBS_SQL)     09/19/2016

11:32:36 AM  CPU   %user   %nice    %sys %iowait    %irq   %soft  %steal   %idle    intr/s
11:32:38 AM  all    0.00    0.00    0.12    0.37    0.00    0.00    0.00   99.50   1131.68
11:32:38 AM    0    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00    991.09
11:32:38 AM    1    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00      0.00
11:32:38 AM    2    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00      0.00
11:32:38 AM    3    0.00    0.00    0.00    2.00    0.00    0.00    0.00   98.00     24.75
11:32:38 AM    4    0.00    0.00    0.00    0.99    0.00    0.99    0.00   98.02    115.84
11:32:38 AM    5    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00      0.00
11:32:38 AM    6    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00      0.00
11:32:38 AM    7    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00      0.00

 

【性能问题排查】vmstat

vmstat命令是最常见的Linux/Unix监控工具,可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况。
一般vmstat工具的使用是通过两个数字参数来完成的,第一个参数是采样的时间间隔数,单位是秒,第二个参数是采样的次数
,如:
root@ubuntu:~# vmstat 2 1
procs ———–memory———- —swap– —–io—- -system– —-cpu—-
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa
 1  0      0 3498472 315836 3819540    0    0     0     1    2    0  0  0 100  0

2表示每个两秒采集一次服务器状态,1表示只采集一次。
实际上,在应用过程中,我们会使用vmstat 1一直监控,不想监控直接结束vmstat就行了,例如:

123

对输出解释如下:
1)procs
a.r列表示运行和等待CPU时间片的进程数,这个值如果长期大于系统CPU个数,就说明CPU资源不足,可以考虑增加CPU;
b.b列表示在等待资源的进程数,比如正在等待I/O或者内存交换等。

2)memory
a.swpd列表示切换到内存交换区的内存数量(以KB为单位)。如果swpd的值不为0或者比较大,而且si、so的值长期为0,那么这种情况一般不用担心,不会影响系统性能;
b.free列表示当前空闲的物理内存数量(以KB为单位);
c.buff列表示buffers cache的内存数量,一般对块设备的读写才需要缓冲;
d.cache列表示page cached的内存数量,一般作文件系统的cached,频繁访问的文件都会被cached。如果cached值较大,就说明cached文件数较多。如果此时IO中的bi比较小,就说明文件系统效率比较好。
3)swap
Swap分区,即交换区,系统在物理内存不够时,与Swap进行交换,类似于Windows下的虚拟内存。 其实,Swap的调整对Linux服务器,特别是Web服务器的性能至关重要。通过调整Swap,有时可以越过系统性能瓶颈,节省系统升级费用。
a.si列表示由磁盘调入内存,也就是内存进入内存交换区的数量;
b.so列表示由内存调入磁盘,也就是内存交换区进入内存的数量
c.一般情况下,si、so的值都为0,如果si、so的值长期不为0,则表示系统内存不足,需要考虑是否增加系统内存。
4)IO
a.bi列表示从块设备读入的数据总量(即读磁盘,单位KB/秒)
b.bo列表示写入到块设备的数据总量(即写磁盘,单位KB/秒)
这里设置的bi+bo参考值为1000,如果超过1000,而且wa值比较大,则表示系统磁盘IO性能瓶颈。
5)system
a.in列表示在某一时间间隔中观察到的每秒设备中断数;
b.cs列表示每秒产生的上下文切换次数。
上面这两个值越大,会看到内核消耗的CPU时间就越多。
6)CPU
a.us列显示了用户进程消耗CPU的时间百分比。us的值比较高时,说明用户进程消耗的CPU时间多,如果长期大于50%,需要考虑优化程序啥的。
b.sy列显示了内核进程消耗CPU的时间百分比。sy的值比较高时,就说明内核消耗的CPU时间多;如果us+sy超过80%,就说明CPU的资源存在不足。
c.id列显示了CPU处在空闲状态的时间百分比;
d.wa列表示IO等待所占的CPU时间百分比。wa值越高,说明IO等待越严重。如果wa值超过20%,说明IO等待严重。

e.st列一般不关注,虚拟机占用的时间百分比。 (Linux 2.6.11)

【性能问题排查】pidstat


在查看系统资源使用情况时,很多工具为我们提供了从设备角度查看的方法。例如使用iostat查看磁盘io统计信息:
linux:~ # iostat -d 3
Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
sda               1.67         0.00        40.00          0        120
以上显示的是从sda的角度统计的结果。当我们需要从进程的角度,查看每个进程使用系统资源的情况。
使用pidstat工具可以获取每个进程使用cpu、内存和磁盘等系统资源的统计信息,pidstat由sysstat rpm包提供。可以用过yum install pidstat

1)默认输出
pidstat输出以2秒为采样周期,输出2次cpu使用统计信息:

123

若不指定统计次数count,则pidstat将一直输出统计信息。
PID: 进程pid
%usr: 进程在用户态运行所占cpu时间比率
%system: 进程在内核态运行所占cpu时间比率
%CPU: 进程运行所占cpu时间比率
CPU: 指示进程在哪个核运行
Command: 拉起进程对应的命令
2)查看指定进程的资源占用情况
查看进程号39204的CPU占用
[root@localhost zonewebroot]# pidstat -p 39204 1
Linux 2.6.32-431.el6.x86_64 (localhost.localdomain)     09/19/2016     _x86_64_    (32 CPU)

03:15:14 PM       PID    %usr %system  %guest    %CPU   CPU  Command
03:15:15 PM     39204   89.00    1.00    0.00   90.00    12  php
03:15:16 PM     39204   89.00    1.00    0.00   90.00    14  php
03:15:17 PM     39204   87.00    2.00    0.00   89.00    12  php
03:15:18 PM     39204   90.00    1.00    0.00   91.00    12  php
03:15:19 PM     39204   91.00    1.00    0.00   92.00    14  php
3)cpu使用情况统计(-u)
使用-u选项,pidstat将显示各活动进程的cpu使用统计,执行”pidstat -u”与单独执行”pidstat”的效果一样。
4)内存使用情况统计(-r)
使用-r选项,pidstat将显示各活动进程的内存使用统计:
[root@localhost zonewebroot]# pidstat -r 1
Linux 2.6.32-431.el6.x86_64 (localhost.localdomain)     09/19/2016     _x86_64_    (32 CPU)

03:17:31 PM       PID  minflt/s  majflt/s     VSZ    RSS   %MEM  Command
03:17:32 PM     23098   1321.15      0.00  101640   1456   0.00  pidstat
03:17:32 PM     37203    100.00      0.00  753508  23404   0.04  php-fpm
03:17:32 PM     42368      0.96      0.00   19356   2388   0.00  zabbix_agentd
minflt/s: 每秒次缺页错误次数(minor page faults),次缺页错误次数意即虚拟内存地址映射成物理内存地址产生的page fault次数
majflt/s: 每秒主缺页错误次数(major page faults),当虚拟内存地址映射成物理内存地址时,相应的page在swap中,这样的page fault为major page fault,一般在内存使用紧张时产生
VSZ: 该进程使用的虚拟内存(以kB为单位)
RSS: 该进程使用的物理内存(以kB为单位)
%MEM: 该进程使用内存的百分比
Command: 拉起进程对应的命令
5)IO使用情况统计
使用-d选项,我们可以查看进程IO的统计信息:
[root@localhost zonewebroot]# pidstat -d 1
Linux 2.6.32-431.el6.x86_64 (localhost.localdomain)     09/19/2016     _x86_64_    (32 CPU)

03:18:58 PM       PID   kB_rd/s   kB_wr/s kB_ccwr/s  Command
03:18:59 PM       616      0.00     30.77      0.00  python
kB_rd/s: 每秒进程从磁盘读取的数据量(以kB为单位)
kB_wr/s: 每秒进程向磁盘写的数据量(以kB为单位)
Command: 拉起进程对应的命令
6)pidstat常用命令
使用pidstat进行问题定位时,以下命令常被用到:
pidstat -u 1
pidstat -r 1
pidstat -d 1
以上命令以1秒为信息采集周期,分别获取cpu、内存和磁盘IO的统计信息。