TrailNet:基于深度学习的无人车视觉导航

frozeneye

---

本项目派生自 Nvidia Redtail 项目(Jetpack 3.2 with OpenCV 3.3.1)，有关原始项目的更多信息，转至本页。本工程对原始项目代码进行了更新和调整，已适配 Nvidia jetson TX2 Jectpack 4.2，使用ROS 版本为 Melodic 。

本项目在以下平台上完成验证和实现：

• 阿木实验室无人车
  
  

演示视频：

本项目主要研究基于深度学习的无人机和无人车自主视觉导航，项目包含深度神经网络、计算机视觉、控制代码、硬件命令和其他组件，可以使无人驾驶平台在复杂环境中进行自主导航，如森林中弯曲的小路、人行道等。

Github地址：https://github.com/frozeneyefree/redtail

---

一、安装前准备：
1、克隆代码仓库：

1. $ git clone https://github.com/frozeneyefree/redtail

复制代码

2、安装ZED双目摄像头SDK（github仓库中已上传对应版本的ZED SDK）
运行命令：

1. $ sudo chmod +x redtail/ZED_SDK_Tegra_JP42_v3.2.2.run
   
2. $ ./redtail/ZED_SDK_Tegra_JP42_v3.2.2.run

复制代码

3、配置安装过程中的rosdep 访问

1. $ cd /etc
   
2. $ sudo gedit hosts

复制代码

在文件末尾添加

1. 151.101.84.133 raw.githubusercontent.com

复制代码

然后保存文件退出。

4、更换国内镜像源：
备份原文件sources.list

1. $ sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
   
2. $ sudo gedit /etc/apt/sources.list

复制代码

将原来的内容全部替换为以下源：

1. deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic main restricted universe multiverse
   
2. # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic main restricted universe multiverse
   
3. deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-updates main restricted universe multiverse
   
4. # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-updates main restricted universe multiverse
   
5. deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-backports main restricted universe multiverse
   
6. # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-backports main restricted universe multiverse
   
7. deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-security main restricted universe multiverse
   
8. # deb-src https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ bionic-security main restricted universe multiverse

复制代码

1. $ sudo apt-get update

复制代码

二、快速安装
本项目需安装较多依赖库，比如ROS、GStreamer和其他需要在运行代码之前安装的依赖项。位于redtail/ros/scripts中的脚本将安装所有必需的依赖项。本项目已对依赖库安装进行了Bug修复和调试，请确保在脚本运行时监视控制台。脚本运行完成后，注销并再次登录以确保所有ROS环境变量都已初始化。

1. $ cd
   
2. $ . ./redtail/ros/scripts/jetson_ros_install_all.sh

复制代码

安装过程中输入:yes
等待编译完成和安装结束：


三、运行程序
安全警告：

请确保有一个安全的环境运行无人车。

具体的设置请参考原始项目 instructions 。

作为前期实验的额外安全措施，建议使无人车腾空于地面。

1、使用PC端通过热点远程连接小车

2、使用Putty远程登陆小车系统：



3、从终端执行以下命令:

1. $ roslaunch redtail_debug ap_zed_ros_trailnet_yolo_robot.launch

复制代码

该命令启动TrailNet DNN， YOLO DNN， MAVROS，camera ROS以及PX4 Controller节点。



4、通过 rqt_graph可以查看运行中的话题和节点：

1. $ sudo apt-get install ros-melodic-rqt
   
2. $ sudo apt-get install ros-melodic-rqt-common-plugins

复制代码

1. $ rosrun rqt_graph rqt_graph

复制代码

5、在终端运行手柄节点，使用A键和B键切换神经网络控制和手动控制：

1. $ ./joy_ros.sh

复制代码

blueboats

你好  有演示视频吗？

maxiou

frozeneye 发表于 2021-2-23 14:04
hi~，演示视频放到b站上了，文章里面已经添加了视频的链接。

如果在B站，你可以直接贴B站的视频链接进来就可以哈 。感谢支持~~~~

maxiou

maxiou

frozeneye 发表于 2021-2-23 14:04
hi~，演示视频放到b站上了，文章里面已经添加了视频的链接。

比如像我下面那样。

frozeneye

maxiou 发表于 2021-2-23 14:40
比如像我下面那样。

let me try~ lol 自古二楼出大神~

frozeneye

blueboats 发表于 2021-2-23 10:46
你好  有演示视频吗？

hi~, blueboats, 演示视频有了~

blueboats

frozeneye 发表于 2021-2-23 14:58
hi~, blueboats, 演示视频有了~

看视频可以自动沿着白色的小路跑是吧  挺适合巡逻方面的应用啊

frozeneye

blueboats 发表于 2021-2-23 15:16
看视频可以自动沿着白色的小路跑是吧  挺适合巡逻方面的应用啊

深度神经网络做图像自主导航的理论验证，实际应用应该还有一定的距离。
论文地址：https://arxiv.org/abs/1705.02550

blueboats

frozeneye 发表于 2021-2-23 15:32
深度神经网络做图像自主导航的理论验证，实际应用应该还有一定的距离。
论文地址：https://arxiv.org/abs/ ...

实际应用是可靠性不行吗？