amov_jiayue 发表于 2023-10-8 17:31:09

【全新开源项目】专为智能无人系统打造的边缘实时感知 S...

移动机器人的视觉感知系统,以往常用的是诸如OpenCV和一些深度学习的视觉库。然而这类大而全的视觉库,很少针对移动机器人进行优化(尤其是针对无人机),也不会针对硬件进行相关的优化。机器人尤其是无人机直接使用深度学习库会面临什么问题?
直接使用OpenCV、Pytorch等深度学习库部署到无人机平台存在很多问题,如无人机相关软硬件接口(吊舱、数据链、地面站、多机机间通讯) 难以统一,相关探测感知算法在性能与效率方面难以适应边缘机载计算机,导致无人机OODA中的感知与认知成为多数应用的瓶颈。
因此,有必要推进研发一套专为无人机和移动机器人设计的视觉感知与认知框架,形成一套用于无人机的视觉感知框架解决方案,打造出机器人视觉感知专用版OpenCV。
正是在这个特定的行业背景下,我们的 SpireCV 机器人视觉开源项目应运而生。
SpireCV是一个专为智能无人系统打造的边缘实时感知SDK库,主要功能包括相机/吊舱控制、视频保存与推流、目标探测识别与跟踪、边缘数据管理迭代等。旨在为移动机器人开发者提供高性能、高可靠、接口简洁、功能丰富的视觉感知能力,让开发者更加聚焦在具体的算法和算子的开发上。
Spire的英文是塔尖,顶尖的意思,CV是计算机视觉。我们希望SpireCV视觉感知库,能成为一流的移动机器人视觉库,提升机器人视觉开发者的开发效率。同时可以和众多的开发者一道实现机器智能。
对于移动机器人视觉算法开发者来说,以上的功能模块,都属于基础通用功能,在这些功能基础之上,加入视频处理算法模块,才构成一个完整的机器人视觉感知。这些通用功能,是视觉感知的基座。也是我们主要优化的事情,我们会持续的在编解码上,视频传输上进行优化,提升性能和兼容更多的外部接口,是这个项目的突出优势之一。节约了开发者的时间,提升了效率。
SpireCV项目地址:https://gitee.com/amovlab/SpireCV项目优势:
1、统一感知软硬件接口,提供现有demo和软件框架的技术支持;2、具备高性能、功能丰富、接口简洁的视觉感知能力;3、支持多平台部署。
标注工具集成:
SpireView 自动化标注工具可以减少人工标注的成本和时间,从而降低整个深度学习项目的成本。这可以让更多的企业和组织参与深度学习项目,促进深度学习技术的发展和应用。
SpireView工具地址:https://gitee.com/amovlab1/spireview.git
视频算法模块:
https://pic2.zhimg.com/v2-20ade97e54d17b70351a820930967861_b.jpg

二维码检测

https://pic2.zhimg.com/v2-0f61d9e2cbd87e5c14421128ac59ad0d_b.jpg

起降标志检测

https://pic3.zhimg.com/v2-95f6b852214cbd3acba223856c489bbe_b.jpg

目标框选追踪

https://pic4.zhimg.com/v2-57af2aa574a91bfc8b2b8d3297427b33_b.jpg

通用目标检测

https://pic4.zhimg.com/v2-24ffe5b0385578722eb958720d07543f_b.jpg

椭圆检测

https://pic4.zhimg.com/v2-8c1cf91a536116f896bad3c5603d665f_b.jpg

目标点击追踪


技术框架:
https://pic4.zhimg.com/80/v2-815bcd289f711fb543aeca0e4940fc47_720w.webp

为了方便开发者对 SpireCV 开源项目进行交流,我们创建了官网论坛和开源项目微信群:

我们还特别推出了,基于该项目的视觉开发者套件硬件产品,高度适配该项目,进一步提升开发效率。
配置一:
Allsaprk 2-Orin NX 16G 内存版本,提供100TOPS算力,搭配 Amovlab 自研吊舱 G1,性能强劲,适用于各种无人系统感知场景,可以实现吊舱控制。https://pic4.zhimg.com/80/v2-15e7ccccc5eb0b4bc7b8ac8c7eba3373_720w.webp

配置二:
Allsaprk 2-Orin Nano,提供40TOPS算力,性能满足多种使用场景,搭配 Amovlab 自研吊舱 G1,也可以实现吊舱控制。https://pic2.zhimg.com/80/v2-ed3731b5b99b5e0cc59148846a16c761_720w.webp
配置三:
Allsaprk 2-Orin Nano,提供40TOPS算力,性能足以应付数使用场景,加上 200 万像素 USB 相机,可以实现大多数 SpireCV 提供的功能,是性价比之选。https://pic2.zhimg.com/80/v2-5f7a3a725ee63ed7f7dc5a1f46101d25_720w.webp

性能参数:



应用场景:
https://pic4.zhimg.com/80/v2-7c439674e152a22638d4a98aba7eefc3_720w.webp
https://pic3.zhimg.com/80/v2-51bc09b01843ee256bb59a03d92cf1fe_720w.webp

硬件发货清单:
如果您对SpireCV 视觉开发者套件感兴趣,可添加销售工程师微信,我们将给您提供专业的选购建议,或联系我们进入开发者交流群~

页: [1]
查看完整版本: 【全新开源项目】专为智能无人系统打造的边缘实时感知 S...