苏州豪米波：4D毫米波雷达与摄像头融合

苏州豪米波成立于2016年，由“国家高层次人才”白杰教授、海外归国射频专家为核心组建，旨在打破国外垄断，填补国内空白，积极打造具有高度自主知识产权的智能感知技术和人工智能系统。

名如其实，该公司专攻毫米波技术，掌握全套ADAS集成控制算法及汽车毫米波雷达核心技术，可根据主机厂车型要求定制设计和合作开发。其产品2018年底已在江铃、江淮等前装量产，包括车载BSD（盲点车辆识别）系统和FCW（前车碰撞预警）系统等。BSD系统最大探测距离100米，角度范围150度；FCW系统最大探测距离200米。

白洁教授认为，多传感器融合是构建稳定感知系统的必要条件，特别是雷达与摄像头的融合。他说：“人们经常遇到一些复杂的天气情况，如大雨、大雾、沙尘、强光、夜晚，这些对图像和激光雷达是非常恶劣的场景，难以用单个传感器应对，一种传感器无法处理所有场景。一些被认为比较成熟的智能驾驶也多次发生撞车事故，都是其传感器系统失效所致，代价惨痛。”

他介绍说，从本地数据处理程度看，传感器主要分为集中式、分布式、混合式结构。目前常用的是混合式结构，由分布式传感器分别进行数据处理，得到目标信息列表后再进行融合，因为毫米波雷达是目标点云，得到的是处理后的效果；激光雷达也是如此。

随着深度学习研究的发展，近年来出现了一些比较前沿的融合跟踪方案：普通雷达点云＋摄像头、雷达射频图像＋摄像头，以及4D雷达点云＋摄像头。目前大多数传感器融合方法都是使用激光雷达和摄像头实现高精度3D目标检测。但这种方法有其局限性，摄像头和激光雷达对不利天气都很敏感，对远处目标检测不够精确，且激光雷达成本高，普及起来有一定困难。由于雷达对恶劣天气有很好的鲁棒性、探测距离非常远、能精确测量目标速度，而且成本低，在自动驾驶中越来越受到重视。

摄像头与雷达融合的网络

基于TI的AWR2243芯片的4D雷达城市道路交通参与者目标分类与检测研究，包括同济大学测试场采集的目标检测与分类数据集可视化结果表明，4D雷达可以输出有高度的目标点云，反映目标的轮廓外形。虽然与激光雷达点云成像原理不同，仅从毫米波雷达的点云还无法准确判断一个目标额外形等特征，但是其点云的散射特征具备一定规律。

4D成像雷达目标的可视化

利用机器学习目标分类算法吸取点云的几个特征：多普勒速度、点云强度分布，与距离有关的关联特征等，在分类算法数据集中测试中实现了很高分类能力，行人95％以上，大型车辆达到99％。机器学习的特点是参数少，便于进行嵌入式分类。

3D雷达点云虽然比激光雷达的稀疏，但是探测距离更远，且包含了目标的速度信息，而4D毫米波雷达可以辅助实现3D目标检测。可以看到，在相同场景，4D毫米波雷达的点云分布与16线激光雷达有明显区别。前者每个目标点云更丰富，探测距离更远。

4D豪米波雷达与激光雷达点云分布

想象未来

上述公司都认为，丰富的点云将使4D雷达在L4及以上系统中发挥更重要的作用，也就是说，有助于大大提升毫米波雷达感知系统的地位。由于雷达中集成的处理器嵌入了软件，主机厂可以更多地关注图像处理和机器学习，而不用在低水平雷达算法开发上耗费精力。

未来将属于4D毫米波雷达！