WNEVC 2022 | 理想汽车郎咸朋：理想汽车智能驾驶的研发实践

由中国科学技术协会、北京市人民政府、海南省人民政府、科学技术部、工业和信息化部、生态环境部、住房和城乡建设部、交通运输部、国家市场监督管理总局、国家能源局联合主办的第四届世界新能源汽车大会（WNEVC 2022）于8月26-28日在北京、海南两地以线上、线下相结合的方式召开。其中，北京会场位于北京经济技术开发区的亦创国际会展中心。

大会由中国汽车工程学会等单位承办，将以“碳中和愿景下的全面电动化与全球合作”为主题，邀请全球各国政产学研界代表展开研讨。本次大会将包含20多场会议、13,000平米技术展览及多场同期活动，200多名政府高层领导、海外机构官员、全球企业领袖、院士及行业专家等出席大会发表演讲。

其中，在8月26日举办的专题论坛：“自动驾驶与智能座舱创新发展”上，理想汽车副总裁郎咸朋发表题为“理想汽车智能驾驶的研发实践”的精彩演讲。

以下内容为现场演讲实录：

首先，我想介绍一下第一个能力的提升。这个能力是非常关键的，也是很多人在过去会忽略的能力，是研发模式的提升。其实大家也都知道，我们很多的主机厂在过去没有做自主研发的时候，我们经常用的是供应商的方案。供应商的方案不是不好，但是他里面整个的流程大概就是一个比较线性的流程，流程从导入开始到研发的过程，最终交付有个测试验证。测试验证过程可能会非常复杂，也非常的耗时间、人力。最终验证结束后，可以把整个功能进行交付，这是传统的线性流程。流程里面可能有一个问题，当这个功能交付完成之后，到用户手里，用户使用过程当中，如果有一些新的需求，或者有一些新的改进点，这种信息能不能正确、及时的反馈到研发或产品同事里面。

第二，收到产品需求后，我们的合作伙伴能不能及时把需求转变成产品的迭代和升级，在这里可能有这样一些问题。我们在去年，理想汽车做了一个银行模式的升级。升级后打造了两个研发的闭环，小闭环是内部研发阶段，大闭环是产品交付之后的阶段。这里面跟大家着重介绍一下，第一个是研发的小闭环，从产品需求开始，到产品研发，然后到自主学习。大家可以理解，自主学习其实就是友商的另外一种说法，用自己的测试车进行验证，但这个验证可能就不是传统的很大量用人工的方式做，而是在车上，我自己的系统和程序，能判断目前研发的功能和效果是否达到了我们的要求。后面我会举个例子详细说明自主学习怎样做测试和验证。总之，验证的过程会极大的降低人力和专业性的需要，有可能之前需要大量专业背景的测试工程师和研发工程时，甚至产品经理，他们要在车上反复测试和调试。接下来我们用自主学习的方式，非常快的获得产品的研发数据，及根据数据自动化的、高效的判断出当前产品研发的问题。这里面对测试人员的要求会大大降低，人员只要会开车就可以了，不用再有很强的专业背景。但是有一些必要的，还是必须的，但是会降低人员的数量和技能的要求。

研发阶段是上面的小闭环，当我的研发测试还需要迭代的话，会返回产品需求，继续迭代，迭代到符合当初设计的要求后，我会把功能推向交付，交付到用户手里。到用户手里之后，使用反馈和使用数据我也可以拿到。这里面的数据大家可以理解成不是狭义的算法样本数据，而是一个比较泛的广义数据，比如用户在论坛里的一些文章、贴子，不管是吐槽还是赞扬功能的使用问题。或者说确实还有一些使用的数据，这些数据都成为我们有用的信息，我们会把这些信息收集起来，变成我们新的产品需求输入，再进一步的迭代和提升研发。又进入上面研发的循环，用这两个闭环，打造基于数据驱动的产品研发流程。

升级之前的线性流程所使用的技术能力、技术架构还是偏规则驱动的方式，因为没有数据的反馈，所以我只能人为的规则来做自动驾驶系统。感知可能会好一点，因为感知的样本是需要数据的，但是再往后预测、规划、控制需要大量人为规则在里面。只要有规则的地方，就不能用高效的数据驱动方式。在升级后，感知、预测、规划都可以大量的使用反馈的数据进行迭代和优化。但是这里面的规划我稍候会讲，需要有一些安全的底线规则。所以我们规划方面会是混合的规划，到最后控制阶段，因为涉及强安全，我们还是需要用传统偏规则的方法做控制。

总而言之，我们对研发模式的提升，会让整个研发效率得到很大改善。后面我用这样一个例子给大家形象的说明研发效率是怎样得到提升的，怎么会用半年时间让AEB功能得到极大改善。我们叫自主学习，有的友商叫影子模式。模式还是比较好理解的，在我的车上同时跑两套程序，一套程序是现在当前已经交付过的，没有问题的AEB功能，有感知、AEB功能、最终控制。同时，车上再跑一套AEB算法，这个算法感知有迭代，AEB功能也有迭代。但是新的功能不参与实际的控制车辆，只是输出控制的信息。信息跟我原始AEB信息车辆差异检查，把差异信息回传后台，这样我就知道新的AEB能力和旧AEB能力有哪些差异。如果变好继续迭代，如果变差也知道差在哪个地方。2021年12月份时，懂车帝发了大概一百多家车企AEB横向对标评测，评测里面理想汽车获得第一名。即使获得第一名，之后我们也在不断迭代，不是说在第一名就OK了。因为我们当时还觉得误触发率是不是可以下降，原来是每十万公里有一次，这个在业内已经很高，但我们觉得还可以再提升。自主学习的方式，做了迭代。

去年到今年6月份，大大小小迭代十个版本左右，每个版本在测试车上用自主学习的方式进行对比评测。如果说用传统AEB方式的话，速度是不可想象的。因为如果传统方式来做AEB的话，需要自己大量的测试车，自己人开着自己的测试车到场地和各种路测，路测也做了，全国各地的功能耐久、试验车也有这种功能，采用自主学习方式工程师不需要有专业的自动驾驶研发背景，只需要开车就可以了，数据源源不断回到后台，根据数据迭代算法。

到今年6月份，误触发率降低到每十万公里0.34，已经远远好于0.54的标准，今年6月初，如果买理想ONE车的话，今年6月会收到OTE3.1版本的升级，升级了这个版本的AEB功能，人的体感可能不太明显，因为每十万公里0.34，原来十万公里一次，整个车的生命周期如果按照单个车主来看，可能车从你拥有到结束使用也开不了十万公里，可能对用户感知不是特别明显，但虽然感知不明显，但安全性为主的功能是理想汽车花时间和精力去做的事情。这是我们的理念，做辅助驾驶、自动驾驶底线是安全。在这方面，理想永远把安全放在前面，这可能是跟其他人不太一样的。但是我们做安全也有我们更加高维度的开发方式和模式，让我们的安全做得更加有质量、有效率。

我用这样的例子讲我的第一个能力分享，开发模式的升级。这个升级有两个前提条件，第一个前提条件还是得车厂自己来做，因为你自己得有车，自己跟自己的车主，有车主支持，有自己的车辆。第二个条件，全栈自研。但我也不排除你有好的合作伙伴，有深度绑定关系的合作伙伴，跟你一起来做这个事情，也是非常好的。就像我们之前跟地平线的合作，理想汽车2021年跟地平线有深度合作，那个合作开创了一个先河。两边的研发人员完全坐到一起，代码共享、开源都非常开放。虽然不是车厂大包大揽，但跟合作伙伴的密切合作也是成功的前提。

只有高效的开发模式、开发效率，可能也是不够的。因为毕竟自动驾驶核心的东西还是在功能、软件、算法，第二个能力讲一下算法能力，也进行了一个升级。之前自动驾驶或辅助驾驶，我们使用的算法基本还是偏普通或者偏传统。比如感知，我们用的2.5D、2D视觉，跟毫米波雷达等融合的方式。在规控方面，基于规则的算法，在我们把智能驾驶算法也进行了一次升级。升级有两个目的，第一，保证能力的上限。需要算法能够有非常高的上限，能够感知、决策、规划、预测，而且能实现城市L4级别自动驾驶的框架来搭建。

第二，算法还需要确保足够的安全。不希望出现其他人的事故，这种事故在所难免，但我们不希望是整个系统能力不够造成的安全事故。所以我们在保证高能力上限的同时，也要保证高的安全底线。我们怎样设计算法呢？首先，我们使用跟特斯拉相似的BEV框架，是我们目前能看到的，而且业内有限时间内的最好框架，这个框架最大的好处是可以联合所有的传感器来做这件事情，而且这个框架可以同时输出静态的道路结构信息和路面动态信息，而且还可以做预测，将所有输出串成4D的空间，对后续的规划控制都有非常好的支持。最初是做纯视觉，意味着传感器比较单一，单一传感器有单一的问题，我们创新性的加入了Lidar，大家都在用，为什么说你们是创新性的用这个东西。因为之前大家用Lidar做自己的工作，自己去识别路面上的物体，但我们是把Lidar的点云信息加入到BEV框架，统一在融合的时候作为BEV的项，然后再做后面的检测和预测、感知等工作。简单说，我们把Lidar用在特征前融合，而不是做单一工作，也不是做后融合。所以说有了Lidar就让BEV框架有冗余，不是纯视觉框架。在处理夜间、恶劣天气场景下，有了更好的能力，也确保了安全。既提升能力，又确保安全。这还不够，在中国，尤其在中国做辅助驾驶、自动驾驶，还是人命关天，谁出了一个事谁都受不了，我们加入了额外的安全模块。单独为安全相关的内容做算法。有视觉安全算法，有Lidar安全算法，跟传统2D、3D视觉感知和视觉算法有所类似，但针对的内容有所区别，针对的是中国特色的安全场景,比如水桶、一体车等。

我们在算法上取得了一些不错的成果。首先是学术上的成果，BEV框架最主要是五大内容。第一，检测、跟踪、前融合。这三方面都在Nuscenes上拿到了不错的名次。第二个是建图和预测的算法。建图车开过去之后，城市的道路结构自然而然就跟着出来了，非常实时的。如果说没有地图的地方，我们也可以自己把图建出来，满足自动驾驶应用，但如果有高阶地图的地方，我们可以跟现有地图做融合，互相补充。预测的话，其实是复杂预测，交互预测，不是规则式的，也是基于深度学习的预测。上述工作都在跟清华MIT一起合作，我们把工作放在了ICCV组织里面，组织是开源的，大家可以去搜，我们也希望越来越多人加入到里面来。这两天我们也看到，今年上半年我们提出了这样一些内容，陆续发了内容后，感觉大家现在都在用BEV框架，也都在研究我们的研究成果。我觉得这非常好，业界都往同一个方向的先进框架共同努力，建设这些算法工作。我相信中国的算法会越做越好。

其实，展示安全性。额外的安全模块，在夜间低光照，人、锥筒都在的情况下，检测的是非常长的，落实到一套传感器上，这是理想L9的传感器，叫AD  Max平台。除了视觉传感器，取消了角毫米雷达的应用，因为我们觉得角毫米波雷达有噪音，噪音拿不到跟视觉原始信息做融合，非常不方便，宁愿使用视觉做这个事情。BEV框架下，视觉能力得到极大提升和改善。相关资料大家在网上能找到，BEV框架优点不赘述。我们的方案和传感器里面，会针对影响安全的场景进行特别的优化和完善。比如静止车或者异形车辆，拉一些草等。特别是夜间道路施工场景，锥筒、水马等路障。

再次，中国特有的驾驶行为。车辆、骑行人的加塞。刚才说算法能力非常强，背后有数据。这点我还是非常骄傲的说，我认为目前理想汽车在智能驾驶数据的积累上远远领先于国内的其他所有人。不管是主机厂还是谁。辅助驾驶标配会带来非常多的数据输入，截止今年6月的数据，辅助驾驶总里程超过3亿公里，NOA总里程超过三千万公里，可以查其他家，我们肯定比他们都多。我们筛选出的有效里程数1.9亿公里，现在2亿公里以上。我想强调的是，我说过的安全场景、施工场景都有特殊的挖掘和提取，用于算法训练。

效率问题，如果没有后面高效的处理数据流程的话，对我来说就是灾难，用不上。我们做了标注，而且数据的收集不是说非常频繁或朴素的收集，而是背后有触发的，举个例子，只回传跟算法有用的数据，白天阳光非常充足，一望无际的数据我不用收集。我收集的是接管，为什么接管，急刹了，为什么急刹。还有结构化检索工具，像工程师假设需要整个6月份夜间雨天施工场景的数据，只要把检索信息打到我的系统里面去，直接给大返回他想要的几万条数据，拿着去做训练。

我们会持续按照思路来做，有高上限的算法，确保安全性。有数据的迭代能力，希望我们理想的自动驾驶能够在未来到2025年真正实现城市L4级别的自动驾驶，我们会为之努力，也希望各位多多交流、讨论。我们一起为中国的自动驾驶做自己的贡献。谢谢。

（注：本文根据现场速记整理，未经演讲嘉宾审阅）