Job

2025-01-15

202509

  1. 数据挖掘和自动标注:通过构建泊车数据挖掘及自动标注链路,2周内自动触发挖掘并生产300w帧泊车异常退出场景训练数据,最终在LAEB功能中提升近距离行人指标20%

    • 数据挖掘:通过大模型推理结果的逻辑判断,筛选符合条件的图片并进行自动标注,设定条件如包含指定目标尺寸距离以及类别

    • 自动标注:将问题数据或挖掘到的目标数据,进行推理及人工校验,最终得到的训练数据反哺大模型和业务模型训练。

  2. corner-case库自动评测体系:通过构建问题数据归纳机制构建corner-case场景库,模型发版自动回灌,根据回灌通过率准出模型发版,发版周期缩短50%:

    • 通过大模型与业务发版模型推理结果比对逻辑,判断历史问题是否有优化,性能指标是否有提升

    • 评测逻辑:首先比对两模型相同图片内预测结果数量是否相同得出是否漏检的结论,其次通过IOU和类别匹配判定预测结果是否发生误检。

  3. 目标检测模型误检优化:通过对目标检测头进行分组优化,针对性添加FP辅助过滤机制,降低相应场景库回灌误检率70%

    • 将具有相似特征的类别分到相同的group,容易相互混淆误检的类别分为不同的group,比如打开地锁和关闭地锁分到同一组,二轮车和骑行者分到不同的组中,

    • 针对容易发生误检目标类别所在的group,添加FP二分类辅助头,通过FP辅助头预测的前/背景区域对预测解决过进行过滤,解决背景误检和其他类别相互混淆的问题

  4. 单目鱼眼3D目标检测

    • 适配不同量产车型:模型预测3D目标中心点在2D图像上投影的位置,以及回归depth和size,通过内参解码将模型输出最终组合为相机坐标系下的location [u,v,depth]及size,对于适配量产不同车型来说,只要采用相同内参的camera,模型性能不会因外参差异而造成退化
  5. 异源数据多任务训练

    • 问题:异源数据多任务训练,每个任务单独推理,顺序进行,最后汇总各个单任务loss作加权后反向传播,中间需要保存冗余的训练数据导致显存消耗较大
    • 优化:通过对2d和3d等多任务数据进行拼接(dataloader构建),只需推理一次,最终loss计算根据预先定义的数据顺序进行,即可完成加权和梯度反向传播,降低显存占用20%