您的位置 首页 电子技术

基于英特尔® Cyclone® V片上系统的安装

在Cyclone® V平台上,Paddle-Lite支持ARM和FPGA的混合调度。针对如卷积,池化,全连接等复杂的运算可以部署到FPGA上执行,其它的算子可以在ARM上实现并执行。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

Paddle-Lite的技术特点

Paddle-Lite是百度公司推出的轻量级推理框架,其基本特点如下:

01

轻量级:执行阶段和计算优化阶段实现良好解耦拆分,移动端可以直接部署执行阶段,无任何第三方依赖。包含完整的80个Op加85个Kernel的动态库,对于ARMV7只有800K,ARMV8下为1.3M,并可以裁剪到更低。在应用部署时,载入模型即可直接预测,无需额外分析优化。

02

多硬件支持:Paddle-Lite 架构已经验证和完整支持从Mobile到Server多种硬件的支持需求,包括ARM CPU, ARM GPU, Huawei NPU, Intel X86 CPU, NV GPU等。得益于对不同硬件适度的抽象,在Paddle-Lite 框架本身清晰的同时支持不同硬件的特殊调度需求,使得Paddle Lite架构在框架的清晰程度和硬件的特定调度优化上达到很好的平衡,比如Nvidia GPU上复杂的stream, event分配,在 Paddle-Lite 中可以清晰表示。

03

高性能:高性能来源于两方面,一是Kernel优化;二是框架执行。Kernel 方面,我们对相应硬件上的 Kernel 通过指令集、操作熔合、算法改写等方式进行了深入优化。

04

框架执行方面,通过简化Op和Kernel的功能,使得执行期的框架开销极低;此外,框架极大的灵活性可以支持各种硬件的特定调度优化以提升整体效率。

05

混合调度:Paddle-Lite支持系统可见任意硬件的混合调度,目前已经支持ARM CPU和ARM GPU的Kernel自动混合调度,并验证了X86 CPU和Nvidia GPU 间的混合调度。

Paddle-Lite的框架

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065210-6253d01ad980c.png

Paddle-Lite是轻量级推理引擎,全面硬件支持(ARM,GPU,NPU,FPGA),多种操作系统支持(Windows,iOSLinux),多训练架构支持(TensorFlow,Caffe,PaddlePaddle,ONNX),以及全面模型支持。

英特尔® Cyclone® V片上系统

Cyclone® V片上系统(SoC)由单核/双核Cortex-A9硬核系统(HPS)和FPGA两部分组成,其硬件框图如下。

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065212-6253d01c2c24b.png

下图是基于Cyclone® V的测试

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065213-6253d01d14a4e.png

Paddle-Lite环境配置

编译环境要求

01

gcc、g++、git、make、wget、pythonpip、python-dev、patchelf

02

cmake(建议使用3.10或以上版本)

安装软件部分以Ubuntu为例,其他Linux发行版类似。

安装基本的软件:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065214-6253d01e3ffdb.png

安装ARM GCC(GCC 5.4.0以上)工具链:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065215-6253d01f42514.png

安装CMake,3.10以上版本:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065216-6253d0200dffc.png

Paddle-Lite编译

下载Paddle-Lite源码 并切换到release分支,如develop:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065216-6253d020f417f.png

编译Paddle-Lite Linux(arm)预测库 (armv7hf, gcc编译):

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065217-6253d021cbdd2.png

最终的编译结果位于build.lite.linux.armv7hf.gcc下:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065218-6253d0229b3a7.png

Paddle-Lite接口测试

Linux(ARM) demo示例基于C++++ API开发,调用Paddle-Lite C++ API包括以下五步:

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065219-6253d023db1a8.png

// 引入C++ API

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065220-6253d02494585.png

// 1. 设置MobileConfig

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065221-6253d02555e3f.png

// 2. 创建PaddlePredictor

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065222-6253d02631945.png

// 3. 设置输入数据

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065223-6253d02799970.png

// 4. 执行预测

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065224-6253d02875642.png

// 5. 获取输出数据

http://news.vvfanli.com/wp-content/uploads/2022/04/20220411065225-6253d02930e57.png

结语

在Cyclone® V平台上,Paddle-Lite支持ARM和FPGA的混合调度。针对如卷积,池化,全连接等复杂的运算可以部署到FPGA上执行,其它的算子可以在ARM上实现并执行。

审核编辑:彭菁

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: admin

为您推荐

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦

智慧路灯照明系统的应用为智慧城市的发展建设添砖加瓦-夜间的路灯不仅照亮了黑暗的街道,而且照亮了回家的道路。从街上望去,闪烁的路灯发出暖光,指引着我们家的方向。城市里的路灯就像“守护者”,给长途旅行回来的游客带来了极大的安全感。 当今,路灯智能控制时代的到来,极大地促进了传统路灯的人工机械化运行。虽然对此感到兴奋,但我们不禁要问:随着路灯智能控制的早期到来,除了改善路灯的运行模式,还能带来什么? 为城市交通提供安全保障 城市公共照明系统中的智能路灯在每个路

晶振在五种不同行业中的应用说明

晶振在五种不同行业中的应用说明-晶振在五种不同行业的应用-由TST嘉硕代理KOYU光与电子

几种不同的物联网控制APP模式

本文就简单介绍当前几种物联网控制APP模式,让大家了解几种不同的技术路线。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

苹果稳坐全球可穿戴设备数量首位,占据日本市场超7成份额

苹果稳坐全球可穿戴设备数量首位,占据日本市场超7成份额

苹果公司占据2021年日本第四季度可穿戴设备71.5%份额,占据全球可穿戴设备市场34.9%份额。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

如何用GPUDirect存储器如何缓解CPU I / O瓶颈

除了使用 GPUs 而不是 CPU 加快计算的好处外,一旦整个数据处理管道转移到 GPU 执行,直接存储就起到了一个力倍增器的作用。这一点变得尤为重要,因为数据集大小不再适合系统内存,而且 GPUs 的数据 I / O 增长成为处理时间的瓶颈。当人工智能和数据科学继续重新定义可能的艺术时,启用直接路径可以减少甚至完全缓解这个瓶颈。\” />

<meta http-equiv=X-UA-Compatible content=\"IE=edge,chrome=1

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

返回顶部