Intel Openvino 性能测试介绍

Intel Openvino作为推论工具,对模型性能进行测试是我们经常会用到的场景。Openvino中自带有"benchmark_app"可以作为性能测试的软件。可以对模型以及硬件进行包括Throughput, 延迟等的测试。这里以MobileNet-SSD以及NCS2神经运算棒作为示例。

准备:
1. 安装好Openvino最新版本
2. 下载并转换好MobileNet-SSD作为测试用
3. Intel 神经运算棒2代

测试记录表格:
test performance

"benchmark_app"编译
安装好Openvino,并且跟着Intel官方文档运行完两个示例sample后,在当前用户目录会看到inference_engine_samples_build目录,进入这个目录执行make,即可完成编译
cd ~/inference_engine_samples_build
make
编译完成后,看一看到benchmark_app可执行文件


"benchmark_app"选项
执行"./benchmark_app -h"可以看到支持的命令选项

性能测试:
NCS2里面有一颗Movidius X芯片,可以同时支持2路推论,所以我们用异步x2路的方式进行测试。测试图片使用Openvino中自带的demo图片, 在Openvino安装包中可以找到。


测试命令:
./benchmark_app -i /opt/intel/openvino/deployment_tools/demo/car.png -m $models/mobilenet-ssd/FP16/mobilenet-ssd.xml -d MYRIAD -api async -nireq 2


测试结果:

依次类推,如果是HDDL卡可以跑异步x4路,8路,甚至16路
最后,我们可以把测试到的结果填到测试的表格中去。

★博文内容均由个人提供,与平台无关,如有违法或侵权,请与网站管理员联系。

★文明上网,请理性发言。内容一周内被举报5次,发文人进小黑屋喔~

评论

我来评论