首页 >> 人物 >> 利用 NVIDIA Isaac Transport for ROS 提升自定义 ROS 图象性能

利用 NVIDIA Isaac Transport for ROS 提升自定义 ROS 图象性能

2024-02-05 人物

和其他 CUDA 路由表一起用作,从而在每个路由表上取得更加快速量化的竞争者。

再侧重一点来看,NITROS 是基于 NVIDIA 平面图督导边基础(GXF)开发的,它是一个技术的发展于构建高效能量化平面图的可扩充边基础。NITROS 为了让 GXF 实现了高效的 ROS 技术的发展平面图。通过装配 NITROS 的 CUDA,Ubuntu并不必须认识使其路由表赞同 NITROS 的从前提条件——GXF 的中上层工作原理。GXF 层已被抽象化,用户只用同步进行最简单的缩减就能启用 NITROS,从而像刚开始一样平易近人、快速速地编写 ROS 2 路由表。

采访的网站更进一步认识装配 NITROS 的 CUDA 的架构方:_with_nitros.html#core-concepts

迄今为止,划给双管 NITROS 公布机和免费机仅与 Isaac ROS NitrosTensorList 立即一般而言相容性。代为采访 isaac_ros_nitros_type,查阅完整的 NITROS 图表一般而言列表:_ros_nitros/tree/main/isaac_ros_nitros_type

用作装配 NITROS 的 CUDA

和 YOLOv8 同步进行并不一定检验

Isaac ROS 备有了一个 YOLOv8 下述:_ros_object_detection/tree/main/isaac_ros_yolov8,展览品了如何用作划给双管 NITROS 自带和快速捷键 ROS 机来充分运用 NITROS。该下述用作来自 Isaac ROS DNN Inference 的发行版,通过 YOLOv8 来督导 TensorRT 更加快速的并不一定检验。划给双管 NITROS 公布机和免费机用作 NITROS 一般而言的立即,迄今为止只与 Isaac ROS NitrosTensorList 立即一般而言相容性。这种立即一般而言技术的发展于在路由表和 Isaac ROS DNN Inference 路由表两者之间具体联内积。

平面图 5. 用作 Isaac ROS DNN Inference 检验 YOLOv8 并不一定

假设您想用作由 Isaac ROS DNN Inference 和 CUDA NITROS 更加快速的快速捷键并不一定检验基本概念,检验流程关乎读写平面缩放编码器、DNN 直觉推理以及反向三个主要工序。Isaac ROS DNN Inference 实现了从前两个工序。

在工序中所,须要从直觉推理结果(即内积)中所提取具体的资讯。对于像 2D 物体检验这样的任务,具体的资讯包括边界边框以及平面缩放中所每个检验到的反向的一般而言得分。

下面让我们来概要认识各个工序。

第 1 步:编码器

在读写方面,Isaac ROS 备有了一个由 NITROS 更加快速的 DNN 平面缩放编码器机。它会对读写平面缩放同步进行预执行,并将其转换为内积,然后通过 isaac_ros_tensor_list 一般而言将内积传递给 TensorRT 或 Triton 路由表同步进行直觉推理。

您可以为各种预执行功用(如缩减大小等)自行决定平面缩放大小和互联网希望的读写大小等实例。代为注意,根据任务的多种不同,您必须用作多种不同的编码器机。例如,由于互联网希望的读写编码器多种不同,您不能在词汇基本概念中所用作这种平面缩放编码器机。

平面图 6. Isaac ROS DNN 平面缩放编码器机路由表概述

第 2 步:直觉推理

Isaac ROS 为 DNN 直觉推理备有两个 ROS 路由表——TensorRT 路由表和 Triton 路由表。YOLOv8 采样迄今为止用作其中所的 TensorRT 路由表。将受训好的基本概念备有给 TensorRT 路由表,它就能督导直觉推理并反向涵盖检验结果的内积。

反向的内积列表将传递给机路由表。您可以自行决定互联网所希望的的点和内积名称等实例,并且可以用作 Netron 等辅助工具在 ONNX 基本概念中所平易近人找到这些的资讯。

平面图 7. Isaac ROS TensorRT 直觉推理路由表概述

第 3 步:

从 TensorRT 或 Triton 路由表直觉推理出的反向内积须要解析为所需的边界边框和类的资讯。比方说,您把基本概念的机写成了 ROS 2 路由表(而且还不赞同 NITROS)。

机路由表并不赞同 NITROS 一般而言的的资讯,而是希望从直觉推理路由表取得类似的 ROS 2 的资讯。由于 NITROS 保持了与非 NITROS 路由表的相容性性,因此这种辅助工具仍然有效。

不过在这种意味着,直觉推理路由表(坐落于 GPU 闪存中所)反向的 NITROS 一般而言立即会被转换成 ROS 2 立即,并被到 CPU 闪存中所供机用作。这将带来一些数据量,因为图表现在坐落于 CPU 闪存中所,加剧在与河段 ROS 路由表协同工作时必须遗传物质 CPU 闪存。

现在,假设您想升级机,以便通过 NITROS 与直觉推理路由表(以及其他 NITROS 更加快速路由表)同步进行通讯,而不必须担负起 CPU 闪存遗传物质的费用。在这种意味着,所有图表都会保留在 GPU 闪存中所。

在机路由表中所用作划给双管 NITROS 免费机就能平易近人实现这一需求量。该免费机并不必须免费来自直觉推理路由表的 NITROS 一般而言反向立即,并用作 NITROS 视平面图借助涵盖检验反向的 CUDA 栈。然后,您就可以对这些图表督导直觉,并通过恰当的 ROS 立即一般而言公布结果。

YOLOv8 机可新设 NMS 频率和所想频率等实例以过滤候选检验结果。可用作一个最简单的三维路由表免费造成了的 ROS 立即,并在读写平面缩放上绘制边界边框。代为注意,划给双管 NITROS 只能与 CPP ROS 2 路由表应用软件。

平面图 8. YOLOv8 机路由表概述

Isaac ROS NITROS 桥接机

如果您的人技术的发展迄今为止基于 ROS 1,仍可以用作新公布的 Isaac ROS NITROS 桥接机来取得更加快速量化的红利。这对用作 ROS 2 旧版本(Humble 之从前的旧版本)的Ubuntu来说也很有帮助,因为 ROS 2 旧版本不备有一般而言可视和达成协议功用。

NITROS 桥接机在 ROS 1 Noetic 和 NITROS 发行版两者之间 1080p 平面缩放的平均速度比 ROS 1 桥接机快速 2.5 倍,充分凸显了所实现的提速敏感度。

ROS 桥接机会造成了基于 CPU 的闪存遗传物质费用,而 Isaac ROS NITROS 桥接机通过将图表从 CPU 转移到 GPU 避免了这一费用。这些图表可以在 GPU 闪存中所就地用作。

NITROS 桥接机由两个电子元件路由表组合成。一个技术的发展于 ROS(例如 Noetic)一侧,另一个技术的发展于 ROS 2(例如 Humble)一侧。在不用作 NITROS 电子元件的意味着,用作 ROS 桥接机会加剧平面缩放从 Noetic 推送 Humble,然后再通过 CPU 闪存中所的 ROS 意味着日志递送回来,从而减小推迟。这个问题在递送大量图表(如分割点云)的路由表两者之间尤为相对来说。

平面图 9. 不用作 NITROS 电子元件意味着的 ROS 桥接机

NITROS 桥接机的其设计目标是减小跨 ROS 旧版本的端到端推迟。代为看同一个例子,这次用作的是 NITROS 电子元件。Noetic 一侧的电子元件(平面图 10)将平面缩放移至 GPU 闪存,避免了通过桥接机遗传物质 CPU 闪存。Humble 侧的电子元件(平面图 10)将 GPU 闪存中所的平面缩放转换为 NITROS 平面缩放一般而言,该一般而言与其他 NITROS 更加快速路由表相容性。

意味著——平面缩放图表作为 NITROS 平面缩放通过两端中所任何一侧的电子元件从 Humble 推送坐落于 Noetic 的 CPU 可采访闪存中所的平面缩放。

更加多关于效能提升的的资讯,代为采访 NITROS 桥接机:_ros_benchmark/blob/main/scripts/isaac_ros_nitros_bridge.py 和 ros1 桥接机的 Isaac ROS 基准:_and_packages/isaac_ros_benchmark/index.html。代为注意,Isaac ROS NITROS 桥接机尚不赞同 NVIDIA Jetson 平台。

平面图 10. NITROS 桥接机概述

将 ROS 2 路由表与 NITROS 应用软件的某种程度

下面总结了将 ROS 2 路由表与 NITROS 应用软件的诸多某种程度:

通过减小 CPU 闪存复制以更进一步提高效能。与 RViz 等其他非 NITROS ROS 路由表相容性。通过划给双管 NITROS 公布机和免费机,可平易近人将快速捷键的 ROS 2 路由表与DirectShow的 Isaac ROS 路由表应用软件。用作装配 NITROS 的 CUDA 同步进行框架软件其设计用作 NITROS 桥接机更进一步提高基于晚期 ROS 旧版本的技术的发展程序的效能。

尝试用作 Isaac ROS NITROS 和 YOLOv8 并不一定检验采样,更加快速您的 ROS 路由表吧!

采访 NVIDIA Isaac ROS XML页面认识有关我们DirectShow发行版的更加多的资讯:

您还可以登陆Ubuntu论坛,认识更加多有关 Isaac ROS 的最新的资讯:

着凉拉肚子怎么办
迈普新的作用和功效
胃部反酸烧心吃什么药
胃里反酸烧心怎么回事
眼睛干涩视力模糊怎么解决
友情链接