OpenVINO™ Workflow Consolidation Tool 教程


最后修订日期: 2019-06-05

关于

OpenVINO™ Workflow Consolidation Tool (OWCT) 是一款深度学习工具,用于将训练模型转换成由 Intel® Distribution of OpenVINO™ 工具包加速的推理引擎。通过推理引擎,您可以验证训练模型的推理结果。

Intel® Distribution of OpenVINO™ 工具包以卷积神经网络 (Convolutional Neural Network, CNN) 为基础。该工具包将工作负载扩展到多个 Intel® 硬件加速器,从而获得最佳性能。

您可以在 QTS 中从 App Center 安装 OWCT。
注意:

必须安装 Container Station 才能使用 OWCT。


兼容性

平台

支持

NAS 型号

  • TVS-x72XT

    注意:

    TVS-x72XT 不支持将现场可编程门阵列 (Field-Programmable Gate Array, FPGA) 卡用作硬件加速器。

  • TVS-x72XU

  • TS-2888X

注意:

仅基于 Intel 的 NAS 型号支持 OpenVINO™ Workflow Consolidation Tool。

操作系统

QTS 4.4

Intel® Distribution of OpenVINO™ 工具包版本

2018R5

有关详细信息,请转到 https://software.intel.com/en-us/articles/OpenVINO-RelNotes

硬件加速器

您可以使用 NAS 中安装的硬件加速器来提高推理引擎的性能。

NAS 中安装的硬件加速器显示在“Home”(主页)屏幕上。

创建推理引擎时,可以使用状态为 “Ready”(就绪) 的硬件加速器。

如果显示的状态为 “Settings”(设置),请转到Control Panel”(控制台)>“System”(系统)>“Hardware”(硬件)>“Graphics Card”(显卡)设置硬件加速器。

注意:
  • 要在 QNAP NAS 上使用现场可编程门阵列 (FPGA) 卡,虚拟机 (Virtual Machine, VM) 直通必须处于禁用状态。

  • 每个 FPGA 资源都可以创建一个推理引擎。

  • 每个视觉处理单元 (Vision Processing Unit, VPU) 资源都可以创建一个推理引擎。

创建推理引擎

使用 OWCT 创建推理引擎并配置推理参数。

  1. 打开 OWCT。
  2. 单击“+ OpenVINO™ Engine”(+ OpenVINO™ 引擎)。

    此时会出现“Create New OpenVINO™ Inference Engine”(创建新 OpenVINO™ 推理引擎)窗口。

  3. 选择推理模型。
  4. 单击“Next”(下一步)。
  5. 配置推理模型。
    表 1.Intel 预训练模型

    字段

    描述

    Name(名称)

    输入介于 2 和 50 个字符之间的名称。

    Inference Model(推理模型)

    显示推理模型的类型。

    Inference Type(推理类型)

    选择模型的推理类型。

    Intel® pretrained model file(Intel 预训练模型文件)

    选择预训练模型文件。

    提示:

    单击“Guide”(指南)可查看有关选定模型的信息。

    Source Type(源类型)

    选择要上传到推理引擎的源文件的类型。

    Accelerator/Precision(加速器/精度)

    选择将影响推理持续时间和准确性的硬件加速器及准确率。

    表 2.自定义模型

    字段

    描述

    Name(名称)

    输入介于 2 和 50 个字符之间的名称。

    Inference Model(推理模型)

    显示推理模型的类型。

    Inference Type(推理类型)

    选择模型的推理类型。

    Source Type(源类型)

    选择要上传到推理引擎的源文件的类型。

    Accelerator(加速器)

    选择推理引擎在使用其他设备时将决定处理速度的硬件加速器。

    Precision(精度)

    选择将决定推理持续时间和准确性的准确率。

    Bitstream(位流)(仅限 FPGA)

    为 FPGA 设备选择计算文件。

    Framework(框架)

    选择推理模型的框架。

    注意:

    OWCT 目前支持 Tensorflow 和 Caffe。

    Model files(模型文件)

    选择推理模型的模型文件。

    应根据框架上传某些文件类型:
    • Tensorflow:.pf、.config

    • Caffe:.caffemodel、.prototxt

    Label file(标签文件)(可选)

    推理期间会显示所有检测到的对象。

    Arguments(参数)(可选)

    将参数添至推理引擎。

  6. 单击“Next”(下一步)。
  7. 查看摘要。
  8. 单击“Create”(创建)。

OWCT 即会创建推理引擎并将其显示在“Inference Events”(推理事件)屏幕上。

配合使用计算机视觉和推理引擎

  1. 打开 OWCT。
  2. 转到“Inference Events”(推理事件)屏幕。
  3. 确保目标推理引擎的状态为 “Ready”(就绪)
  4. 单击推理引擎名称下面的链接。

    此时会在新的选项卡中打开“Object Detection”(对象检测)窗口。

  5. 单击“Upload”(上传)。
    此时会出现“Select File”(选择文件)窗口。
  6. 选择一个文件。
  7. 单击“Upload”(上传)。

    对象检测推理过程即会开始。

  8. 当推理完成时,单击“Download”(下载)。
    此时会出现“Select Folder”(选择文件夹)窗口。
  9. 选择想要保存推理结果的文件夹。
  10. 单击“Save”(保存)。

管理推理引擎

您可以在“Inference Events”(推理事件)屏幕上查看和管理推理引擎。

按钮

描述

开始推理过程。

停止推理过程。

显示推理引擎的详细信息以及日志状态。

将推理引擎另存为中间表示 (Intermediate Representation, IR) 文件用于高级应用。

删除推理引擎。

这篇文章有帮助吗?

100% 的人认为有帮助。
谢谢您,我们已经收到您的意见。

请告诉我们如何改进这篇文章:

如果您想提供其他意见,请于下方输入。

选择规格

      显示更多 隐藏更多
      open menu
      back to top