探讨性能测试中的计时问题
摘要:本文结合作者在代码性能测试工作中的经验,介绍一组自己封装的的计时函数。使用该组函数可以简化测试工作,从而把更多的精力放在主要工作上,不需要过多地维护计时代码,仅仅使用两个宏就可以方便、精确地实现多个模块、多方式的时间性能测试,并且计时结果以一个文本文件独立保存,清晰直观。
在系统测试时,尤其在需要测试算法或者某些模块的运行时间时,往往需要调用一些时间函数库(如VC中的timeGetTime等可以获取毫秒级的时间),在待测试的模块前后分别测试时间,然后,计算前后两个时间的差值,就得到模块的运行时间,如图 1。 图 1 一个典型的模块计时方法
但是,使用原始的计时函数直接进行时间测试在很多复杂情况下不方便,如图 1,当在一个模块中有多个子模块需要分别计时,所编写的计时代码甚至比原有的代码还多,这增加了程序维护和阅读的难度,容易出错。作者结合自己在相关工作中的经验,封装了一组计时函数,共享给大家。该组函数有如下几个优点:
- 计时精确:封装的是高精度的计时API函数QueryPerformanceCounter(),该函数根据硬件定时器的频率,理论上可以得到微秒(us)级精度的计时结果;
- 使用简单:只用在待测试的模块前后加上两个宏BM_START和BM_END,不需要对结果进行计算,也不需要考虑对各个模块测试结果数据的维护,这些操作已经被封装。
- 结果输出独立:在系统运行结果时,只需要调用一个函数就可以把计时结果保存在一个文本文件里,如图 5和图 8所示。
1. 高精度计时函数
在Windows系统下,程序员通常可以使用多种方式来进行时间控制:如使用前文提到的timeGetTime()函数,或者使用GetTickCount()函数,又或实现WM_TIMER消息的映射等等。但是这些方法得到的时间精度都有一定的局限性,为了增加下文将到介绍的计时函数库的适用性,本文采用高精度的时控API函数QueryPerformanceCounter()。
计时之前,调用QueryPerformanceFrequency()函数获得机器内部定时器的时钟频率,然后在需要计时的模块前后分别调用QueryPerformanceCounter()函数,利用两次获得的计数之差获得时钟频率,计算出模块的运行时间。代码如图 2:
图 2 精确计时代码段
2. 封装计时函数
2.1. 数据结构
为了维护计时结果,我们定义如下几个数据:
#define BENCHMARK_MAX_COUNT 20
double gStarts[BENCHMARK_MAX_COUNT];
double gEnds[BENCHMARK_MAX_COUNT];
double gCounters[BENCHMARK_MAX_COUNT];
double dfFreq = 1;
其中,BENCHMARK_MAX_COUNT定义了需要计时的模块总数,20表示最多可以定时20个模块,该值可以根据具体应用而定。gStarts和gEnds分别用于保存开始计时和终止计时的计数器的值,gCounters用来保存计时结果。全局变量dfFreq用来保存上文介绍的时钟频率,如图 2所示。
2.2. 初始化InitBenchmark()
初始化函数InitBenchmark()包括两部分内容:
- 对数组gStarts, gEnds, gCounter清零;
- 获得机器内部定时器时钟频率。
InitBenchmark()代码如下所示:
void InitBenchmark(){
ResetBenchmarkCounters();
GetClockFrequent();}
该函数一般在程序运行最初调用。
2.3. 开始计时BMTimerStart()
开始计时函数BMTimerStart()放在计时模块的开始,函数定义如下:
void BMTimerStart(int iModel){
LARGE_INTEGER litmp;
QueryPerformanceCounter(litmp);
gStarts[iModel] = litmp.QuadPart;}
其中参数iModel表示当前计时的模块序号,0=iModel=BENCHMARK_MAX_COUNT;为了简化调用代码,我们给出一个宏定义如下:
#define BM_START(t)
BMTimerStart(t);
2.4. 终止计时BMTimerEnd()
终止计时函数BMTimerEnd()放在计时模块的结束,函数定义如下:
void BMTimerEnd(int iModel){
LARGE_INTEGER litmp;
QueryPerformanceCounter(litmp);
gEnds[iModel] = litmp.QuadPart;
gCounters[iModel] += (((gEnds[iModel] - gStarts[iModel]) / dfFreq) * 1000000);}
参数iModel同BMTimerStart()。本函数首先获取当前的时钟数,然后除以dfFreq得到运行时间。对于最后一条语句:
gCounters[iModel] += (((gEnds[iModel] - gStarts[iModel]) / dfFreq) * 1000000);
要注意两点:
- 用“+=”而不是“=”,这个看似简单的代替,可以实现对同一个模块的重复计时,后文3.3节列举的情况;
- 乘以1000000,表示计时单位为微秒(us)。
类似BMTimerStart(),同样为BMTimerEnd()定义一个宏:
#define BM_END(t)
BMTimerEnd(t);
2.5. 结果输出WriteData()
以一个文本文件(见图 5和图 8)把全局变量gCounters中的所有值输出,该函数一般在程序结束处调用,如图 4中最后一行代码所示。由于篇幅限制,具体实现代码请参考源程序。
3. 计时测试实例
3.1. 多个模块计时
图 3展示了嵌套计时以及对一个函数中多个模块进行计时的代码,图中可以看到,利用输入参数我们对计时模块进行统一编号,测试代码相对图 1更清晰、直观。 图 3 用我们的函数实现嵌套计时
3.2. 循环内部计时
图 4中的代码展示了我们对循环体内每次执行运算的计时,只需简单地给出参数 就可以得到从1到20的阶乘的每次计算计算时间,计时结果输出为文件“D:\log.txt”,如图 5。
图 4 对循环中每次运算的计时
图 5 计时结果1
3.3. 循环累加计时
从图 5可以看到,由于现代计算机处理速度越来越快,一些简单运算的模块,微秒的计时单位几乎都不够精确,因此,一种常用的测试方法就是对同一模块进行N (N 取1000,10000等)次重复执行。使用本文介绍的计时函数,我们可以采用两种方式对这种情况进行测试,代码分别如图 6和图 7,请注意二者的区别,并请读者分析为何图 7中的方法也是可行的。 N次运算计时结果如图 8。 图 6 累加计时1
图 7 累加计时2
图 8 计时结果2
4.结束语
本文实现了一组计时函数的封装,并给出几种特殊情况下的测试实例,实验表明该组函数可以满足各种复杂情况下的计时,能够很方便地应用的实际的测试工作中。当然,还可以进一步封装成一个计时类,留给读者们自己去做。