Intel Openvino作为推论工具，对模型性能进行测试是我们经常会用到的场景。Openvino中自带有"benchmark_app"可以作为性能测试的软件。可以对模型以及硬件进行包括Throughput, 延迟等的测试。这里以MobileNet-SSD以及NCS2神经运算棒作为示例。
准备：
1. 安装好Openvino最新版本
2. 下载并转换好MobileNet-SSD作为测试用
3. Intel 神经运算棒2代
测试记录表格：
"benchmark_app"编译
安装好Openvino，并且跟着Intel官方文档运行完两个示例sample后，在当前用户目录会看到inference_engine_samples_build目录，进入这个目录执行make，即可完成编译
准备：
1. 安装好Openvino最新版本
2. 下载并转换好MobileNet-SSD作为测试用
3. Intel 神经运算棒2代
测试记录表格：
"benchmark_app"编译
安装好Openvino，并且跟着Intel官方文档运行完两个示例sample后，在当前用户目录会看到inference_engine_samples_build目录，进入这个目录执行make，即可完成编译
cd ~/inference_engine_samples_build
make
编译完成后，看一看到benchmark_app可执行文件
"benchmark_app"选项
执行"./benchmark_app -h"可以看到支持的命令选项
性能测试：
NCS2里面有一颗Movidius X芯片，可以同时支持2路推论，所以我们用异步x2路的方式进行测试。测试图片使用Openvino中自带的demo图片， 在Openvino安装包中可以找到。
测试命令：
./benchmark_app -i /opt/intel/openvino/deployment_tools/demo/car.png -m $models/mobilenet-ssd/FP16/mobilenet-ssd.xml -d MYRIAD -api async -nireq 2
测试结果：
依次类推，如果是HDDL卡可以跑异步x4路，8路，甚至16路
最后，我们可以把测试到的结果填到测试的表格中去。
评论