您好,欢迎光临2021中国自动驾驶测试验证技术创新论坛!

在自动驾驶汽车开发中,什么才是有效的衡量标准?

发布日期:2020-03-31

GRCC自动驾驶测试验证技术创新论坛

2020-03-31 14:02:45

手机阅读

(* 作者:ZET BINYAMINI,FORETELLIX**执行官兼联合创始人直到*近,Foretellix**执行官兼联合创始人Ziv Binyamini还是Cadence的公司副总裁,负责模拟和验证业务。在Cadence,Verisity和Intel的职业生涯中,Ziv领导了验证解决方案的开发,包括芯片仿真和验证IP。他的行业**,覆盖范围驱动的验证解决方案和测试台产品包括Specman(用于芯片验证)和Perspec(用于SoC硬件/软件验证)。)2020年3月18日撰


在我职业生涯的早期,我在Intel的一个非常有趣的项目中工作,该项目组设计了Pentium-pro微处理器。当时,这是英特尔尝试过的*复杂的设计,而且很可能在其他任何地方都是。为了确保这种复杂的“怪兽”质量,我们必须开发一种新的方法并确保正确。选择衡量执行的程序数量或错误率本来可以使得衡量变得“容易”,但意义不大。取而代之的是,我们提出了新颖而有意义的指标,用于衡量测试的功能和事件的复杂交互。


上周,加州汽车部门发布了2019年的"脱离报告"(Disengagement Report),其中包含该州驾驶自动驾驶汽车的公司所报告的信息。


自动驾驶汽车行业正在努力寻求有效指标来安全部署AV。AV行业可用的“*简单”指标是AV行驶的里程数和“脱离”的次数。但是,这些指标虽然“易于”衡量,但不足以衡量AV安全性。


加州"脱离报告"


汽车行业的思想**和管理人员越来越多地分享了他们对行驶里程和脱离接合作为安全部署自动驾驶汽车的指标的有效性的担忧,并且一些人已经开始提出替代指标。


Cruise的Kyle Vogt在题为“脱离神话”的文章中写道,通常不清楚脱离是否反映了真正的安全问题或更多AV开发商的脱离政策。他断言,仅每英里的脱离数量并不能反映出车辆完全可以自动驾驶。


Voyage 的奥利弗·卡梅伦(Oliver Cameron)谈到缺乏 “脱离”的标准,并提出了替代的“驾驶员准备分数”,作为公司公开分享其进步的一种新方法。该建议分数包括模拟中通过的场景的百分比。


奥罗拉(Aurora)的克里斯·乌尔姆森(Chris Urmson)在*近的一篇文章中问道:“如果我们在没有其他车辆或人员,交叉路口很少的平坦干燥地区行驶1亿英里,那么我们的“脱离率”真的可以与在一个高速公路上行驶100英里相提并论。像匹兹堡这样繁忙而又复杂的城市?”厄姆森指出,仅测量行驶的里程数可能是进度的欺骗性指示。


我会更直率地说:这些英里中有许多是“哑英里”,即对测试没有任何新影响的英里。例如,其中有多少只在空旷的高速公路上行驶?AV从右侧切入了几次?AV在小雨中是否遇到过弯弯的高速公路?




那么,AV行业可以使用哪些有效指标?




需要有效的指标来跟踪我们离实现安全目标有多近,以及我们应该集中精力进行哪些工作。指标应以客观,可量化的方式回答:我们是否知道测试过程中遇到了哪些方案和参数?是否满足安全要求?是否满足关键绩效指标(KPI)?使用*新版本的软件而不使用较早的无关版本行驶了多少英里?


“脱离”和行驶里程虽然显示出总体进展,但不足以证明安全目标。要填补这些空白,必须深入了解英里数-确保我们成功地执行了对AV安全至关重要的方案,并提供了必要的指标来证明这一点。




我们该怎么做?




用于创建和跟踪有效的AV安全度量的另一种方法是“覆盖率驱动验证(CDV)”方法。


CDV起源于半导体行业,多年来已被广泛使用。近年来,我们对AV进行了安全验证。它提供了一种有条理的方式来指定方案和实现实现安全要求完整性的客观指标所需的混合方案。


在利用我们的方法时,首先,定义了包括操作设计域(ODD)在内的高级要求。根据要求编写了风险维度的完整列表。使用风险维度,可以创建全面的验证计划。该计划包括可量化,可衡量的目标,直至参数级别,包括覆盖率指标和KPI。下一步是使用场景描述语言来定义高级抽象场景及其参数。抽象方案中的参数组合会创建大量要测试的具体方案。


具体方案在不同的测试平台上运行,包括模拟器,在环硬件,测试轨道和街道行驶,并产生有意义的度量标准,这些度量标准汇总到全面的覆盖范围和KPI报告中。对报告的分析推动了验证工作在未覆盖区域上进行磨练,同时使用基于约束的严格随机测试生成来完成覆盖范围并探索已知场景之外的区域,以确保*高级别的安全性。



定义覆盖率示例




例如,定义的两个风险维度可能是车辆操作和天气。车辆操纵抽象场景可以是插入场景,定义的覆盖范围包括各种参数,例如EGO的速度,插入开始时的距离,插入侧。记录的KPI可以是TTC(碰撞时间),减速率等。插入场景可以混合用于从晴天,小雨到大雨的天气场景,以及AV的ODD中定义的任何其他天气条件。


“脱离报告”和相关讨论强调了AV行业对有意义的指标的需求,这些指标必须客观,可量化并涵盖AV设备的安全要求。覆盖率驱动验证方法提供了一个清晰的框架和方法来定义和跟踪有意义的指标。我相信采用这种系统的方法将有助于业界更快地实现AV的安全部署。




☆ END ☆




点击上方蓝字关注我们


  • 电话咨询
  • 021-2230 6692
  • 15021948198
None