#理想智能驾驶夏季发布会# 理想汽车7月全量推送无图NOA。根据不同渠道的信息来源，这套技术的实车表现不错，与前几个版本的表现不可同日而语。技术是最讲究实事求是的，当它变好的时候，就值得去关注与研究。 看了一遍发布会的PPT，比较感兴趣的是以下三个方面。 1. 在生成式的虚拟游戏世界中加速进化 若干年之前，AlphaGo击败人类最强的棋手。人类虽然有数百年的围棋知识积累，AI也可以24小时不知疲倦地在虚拟对弈中练习，成长更快。 从车毁人亡的Corner Case中去学习，代价太高也太慢了。另一种方式就是仿真学习，简直来说就是给AI建一个赛博朋克2077的世界，让它在里面游玩，增长自己的才干。 传统的3D虚拟环境、重建式仿真、生成式仿真各有利弊（图3），理想将真实数据通过3DGS（3D高斯溅射）技术进行重建，并使用生成模型补充新视角，形成了一种新的方法(图1)。 图4划分的安全场景，可以认为是文字prompt的输入。这让我感到很熟悉，因为大概10年前在上汽做功能安全时的HAZAD方法(图5)思路相似。小鹏在2023年1024上也提到了AI生成式场景仿真（图6）网页链接，在更早的2022年1024上也有讲到（图得找找）。 2. AEB与AES AES主动避让其实是AEB的一个组成部分：极端情况下采取制动也难以避免碰撞时，转向以主动避让成为唯一可行的方式。但这种方式的技术难度更大，且务必确保不引发新的风险，所以车企一般采用更为保守的态度。换言之，敢用的一般是艺高人胆大。 理想这次也预告了AES（图8）。AEB也做得更全面了，而且是在强调“更低的误触发率”下实现的这一点。 看AEB确实应该如此，不能光看它是否刹住了，更重要是要看它“在不该刹的时候不刹的前提下，它是否刹住了”。这场发布会上，理想对这个问题讲得很全面，这是从技术角度做出来的PPT。 3. 端到端+VLM视觉语言模型 VLM视觉语言模型是干嘛的？ 我理解得也并不是非常确切，下面是我目前的理解，仅供参考：直觉的场景用端到端（目前还不到端到端），复杂的场景用VLM。 我曾举过一个非常典型的例子：晴空万里的、宽阔的、车流较少的三车道上，我观察到前方中间车道的货拉拉，毫无征兆地左右晃动了一下！ 在如此良好的环境下，车子突然晃动，这是一个不同寻常的举例。 我作为一位具备通用人工智能的生物，在长期的进化过程中形成了推断能力：这货拉拉可能存在危险驾驶情况，最好要远离它，要么不超，要么快速超过去。 但有图or无图NOA并没有这个意识，它还是匀速超车，在并排的时候货拉拉果然又偏移了车道，险些撞到了我方车辆。此时我看了一下右车，果然，司机正在玩手机开车，和我预想的危险驾驶基本相符。 只用端到端，感觉难以做到人类这种通用人工智能的水平，也难以应对这种场景：路上左摇右摆的车太多了，AI怎么从蛛丝马迹中，凭借像特工一样的直觉，来判断某个车可能存在危险驾驶呢？ （个人理解）VLM就是为了解决这类问题。其核心思路还是要基于语言token去理解这个世界，在开车这件事情上接近（但达不到）通用人工智能的水平，来应对我所描述的这类场景。能否应对，取决于token的数量，对应可识别和描述的场景范围，理想给出的数字是22亿token。 其实这个思路，2023年初的长城毫末智行也提出过，称之为DriveGPT(应该是蹭GPT热度吧)。当时我用这个DriveGPT讲述了一下token语言模式的工作方式：接着货拉拉案例来分析。 第一步，DriveGPT首先会将整个过程翻译成如下文本序列：「感知到前方有一辆经常行驶越线的面包车」→ 「决策加速、并排行驶」→ 「驾驶员紧急接管、远离面包车」 。 这一步，如果感知能力够强，可以用高清摄像头看一下驾驶员是不是在玩手机。那么token就更多了，不仅要看前面的车、当时的天气、路面的情况，还要看车里的驾驶员的姿势，推断他的行为…………以上都是畅想举例。 第二步，DriveGPT将「驾驶员紧急接管、远离面包车」当成一次高权重的人类反馈并进行强化学习，「反思」本次决策的失误、理解人类的决策，这就是「RLHF人类反馈强化学习机制」。 第三步，DriveGPT在RLHF重新训练之后，下一次的城市NOH体验就会变成：「感知到前方有一辆经常行驶越线的面包车」→ 「远离危险驾驶的面包车」→「驶进第一车道并快速超车远离」。这种开车感觉，是不是就很像老司机了？ 毫末智行将VLM这一套还是归在了端到端大模型里，没有像理想这样子分成一个“思考快与慢”的两个模型。听起来是很好很先进的思路，但似乎工程落地的效果不是特别好，所以魏老板今年直播NOA用的也并不是毫末智行的方案。 所以这给我们一个启示：一项技术好不好，不仅要看其本身，更重要的还是要通过实践去观察效果怎么样；在行业特别浮夸的时候，不确切的信息太多了，那就可以先看效果再去看技术，否则就避免不了浪费时间的风险。纸上得来终觉浅，绝知此事要躬行。 基于这个原则，这次理想的无图NOA实践效果多个信息源都说比较好，那就值得去研究一下。#新能源大牛说##理想汽车##智能驾驶#