举例这一款无人车，我标记了一下，有四颗机械式Lidar，两个Camera。还有毫米波雷达（包括四个角雷达加一个前向长距的毫米波雷达）。

左上角是Waymo的RoboTaxi，它的传感器配置是比较昂贵的，激光雷达是他们自研的，据他们讲本钱控制得比较低。但真实的贸易场景里面会有多方面的约束，包括本钱、算力、功耗等。我们不可能用台式机做计算，真到正式量产，我们只能使用嵌进式控制器， CPU和GPU的算力显然会比台式机有数目级或者几倍的差距。功耗也是需要考虑的一个因素，车内供电是有限的，控制器耗电，传感器本身耗电也比较高，比如Lidar装的多也比较耗电。

我们的实验结果看起来还是挺不错的，它比传统的ORB方案效果要明显提升不少，匹配的点数增加了不少。我们测了很多的场景，均匀下来定位的可用性有明显提升。

下图是车位检测，也是很基本的，就是最简单的鱼眼俯视图的拼接，国际货运 空运价格，车位检测的目的是为了定位。

第二个，国际货运 空运价格，它的跨光照能力比较强，低光照度的情况下上风比较明显，跨季节能力也挺不错。

定位技术

在自动驾驶里比较纠结的就是本钱和性能的矛盾，我们需要平衡它们。

还有天气、光照等其他影响因素，使用场景也会有很多的变化。当然我们做得工作越多，可适用场景也就会越来越多。

之前的SLAM框架更多使用一些传统方法提取特征。深度学习从2014、2015年逐步热起来，通常更多用于目标检测，在定位方面也有较多应用。下面是2016年的一个论文，使用AlexNet的feature做place recognition。右边是我们在园区里做的实验，在不同的场景下，左边是建图的image，右边就是定位的image，可以看出在不同时刻、季节变化、极端光线、雾霾天的各种情况下，深度学习方法比传统方法有时候会拿到更好的结果。

这是整个无人驾驶系统的构成图，底层是车辆，包括车、线控、驱动、制动、转向等；上面是硬件控制部分，计算平台、网络、传感器、线束等；再往上就是系统软件层，包括操纵系统、通讯中间件等；再往上左边这部分是定位、感知、猜测、决策、规划、控制等车真个模块；右边是一些其他的支撑模块和基础设施，包括仿真、安全、高精度舆图、V2X、HMI、Cloud等。安全是独立的一部分，它会横跨车端云真个各个环节。

基于视觉特征的视觉SLAM，特征描述要满足视角不变性、标准变化的不变性、旋转变化的不变性等，常用特征我列了几个，如SIFT、SURF、FAST，其中FAST是比较快的，前两者比较慢。

很多的场景下会用到鱼眼相机，传统的方法就是往畸变，把它作为一个普通的图像往处理，但是这种方法我们实验以后发现效果并不是那么理想。后来我们做了一个工作，用五个立方体，构成一个Cubemap，再做SLAM，实验结果也是挺不错的。这个工作我们也用到了实际工程中。

我们后来又做了一些工作，也参考了一些其他研究，使用深度学习的方法往提升定位；首先输进的图像，通过Encoder，分出来两个分支往做Decoder，一个是特征点的，另一个是描述子的。

这辆车没有安装超声波雷达，但在其它的车可能会用。还有车内部安装的传感器，如轮速计、IMU。所有的传感器数据可用于自车定位和环境感知，在规划控制中也会用到轮速计信息。

我们在一个地库里面做的基于停车位的定位，这是包括定位、规划、控制在一起的一个闭环过程。

下面是我们公司的几种车辆，可以看到，我们车上所装的传感器大部分本钱相对不高，由于客户大部分对本钱比较敏感。最右边的车是，巢湖物流 ，自主代客停车，没有安装Lidar。

定位技术包括轮速计、IMU、GPS RTK（在空旷的地方效果比较好）、Visual SLAM、Lidar SLAM、稀疏语义定位等。此外，还有一个Home Zone Parking的应用，也是采用Visual SLAM定位技术。

二

一

传感器

今天分享的内收留，分为传感器、定位技术、感知技术、贸易化案例四个部分。

传统的GPS精度差，通过RTK基站消除误差，可以得到一个相对稳定的高精度定位，可以到两三厘米的高精度。