手機版
化工儀器網手機版
化工儀器網小程序
官方微信
公眾號：chem17
掃碼關注視頻號
一、引言
隨著自動駕駛技術的逐步落地，感知系統(tǒng)對數(shù)據(jù)的依賴正快速增長。傳統(tǒng)實車采集雖然真實可信，但在效率、安全性、標注精度以及邊緣場景覆蓋方面均存在顯著限制。
合成數(shù)據(jù)（Synthetic Data）因具備低成本、高可控性、無限擴展性和高精度標簽等優(yōu)勢，已成為感知算法訓練與驗證的重要數(shù)據(jù)來源。尤其在多模態(tài)、多場景、大規(guī)模自動化生成等方面，仿真平臺正成為構建感知數(shù)據(jù)體系的重要工具。
在感知系統(tǒng)的開發(fā)過程中，我們依托仿真平臺生成覆蓋多種場景和傳感器類型的合成數(shù)據(jù)，用于支持AVM（環(huán)視系統(tǒng)）開發(fā)，同時也利用合成數(shù)據(jù)生成符合公開格式標準的數(shù)據(jù)集，助力算法在真實部署前實現(xiàn)高效迭代與驗證。本文將系統(tǒng)介紹利用合成數(shù)據(jù)開發(fā)的具體應用流程和實踐效果。
二、 AVM系統(tǒng)開發(fā)中的仿真驗證應用
環(huán)視系統(tǒng)（AVM, Around View Monitor）是自動駕駛和高級輔助駕駛系統(tǒng)（ADAS）中常見的功能模塊，通常由4個或更多廣角魚眼相機構成，通過拼接多個攝像頭圖像生成車輛周圍360°的鳥瞰圖。
自動泊車系統(tǒng)（APA）需要環(huán)視圖像提供對車輛周圍環(huán)境的精準感知。通過仿真方式模擬魚眼相機布設和 BEV 拼接，可生成多種泊車場景下的高保真圖像，包括地庫、斜列車位、窄通道等復雜工況。相比實車采集，仿真不僅可以批量構造邊緣泊車條件，還能自動提供精確的障礙物位置與車輛姿態(tài)標注，大幅加速感知模型的訓練和驗證流程，減少實車調試時間。
傳統(tǒng) AVM 系統(tǒng)的相機標定依賴人工操作和實車設備，流程繁瑣且精度受限。通過仿真，可控制各攝像頭位置與視角，并生成可重復、可驗證的圖像和標定數(shù)據(jù)，適用于整車項目開發(fā)初期的快速迭代。虛擬標定不僅提高了標定效率，還支持在方案切換、批量測試、相機布局驗證等場景中自動生成對齊標注，降低人力投入，提升系統(tǒng)上線速度。
在實際開發(fā)中，AVM對圖像畸變建模、拼接精度、投影映射等有較高要求，傳統(tǒng)方法依賴人工標定與測試，周期長、靈活性差。而基于aiSim的仿真流程，可有效提升開發(fā)效率與驗證精度。
通過合成數(shù)據(jù)仿真平臺，我們借助從環(huán)境搭建到數(shù)據(jù)生成的全流程仿真，成功實現(xiàn)了4個魚眼相機生成AVM合成數(shù)據(jù)的優(yōu)化和驗證。
圖1 基于aiSim構建AVM圖像流程
1、標定地圖與仿真環(huán)境構建
我們在Unreal Engine環(huán)境中快速搭建6米×11米標定區(qū)域，使用2×2黑白相間標定板構成特征紋理區(qū)域，并精確布設車輛初始位置，確保視野重疊區(qū)域滿足投影需求，并通過特定插件將其無縫導入仿真器中。
圖2 基于aiSim插件的Unreal Engine地圖編輯
2、魚眼相機配置與參數(shù)設置
設置前、后、左、右四個魚眼相機，分別具備：
（1）高水平FOV（約180°）；
（2）不同俯仰角（前15°、后25°、側向40°）；
（3）安裝位置貼近真實車輛安裝場景（如后視鏡下方）。
我們采用了仿真器內置的OpenCV標準內參建模，輸出圖像同步生成物體的2D/3D邊界框與語義標簽。
圖3 環(huán)視OpenCV魚眼相機傳感器配置
3、BEV圖像生成與AVM拼接
利用已知相機內參和標定區(qū)域結構，通過OpenCV完成圖像去畸變與投影矩陣求解，逐方向生成BEV視圖（Bird's Eye View）。結合車輛圖層與坐標對齊規(guī)則，拼接生成完整的AVM圖像。
支持配置圖像分辨率（如1cm2/像素）與投影視野范圍，確保幾何準確性。
圖4 投影區(qū)域及BEV轉化示意圖
4、多場景合成與傳感器布局優(yōu)化
通過批量仿真腳本，可快速測試不同環(huán)境（如夜間、窄巷、地庫）、不同相機布局組合對AVM系統(tǒng)效果的影響。在算法不變的前提下，系統(tǒng)性評估外參配置的優(yōu)劣，為傳感器部署提供數(shù)據(jù)支持。
圖5 不同場景下的AVM合成數(shù)據(jù)
三、合成數(shù)據(jù)構建多模態(tài)數(shù)據(jù)集
隨著智能駕駛逐步從基礎輔助走向復雜場景下的高階功能，對感知系統(tǒng)的數(shù)據(jù)需求也在迅速升級。不僅需要覆蓋高速、城區(qū)、出入口等典型 NOA 場景，還要求在不同模態(tài)之間實現(xiàn)精確對齊，以支撐融合感知模型的訓練與驗證。在這類任務中，仿真生成的合成數(shù)據(jù)具備可控性強、標簽精準、格式標準的優(yōu)勢，正在成為算法開發(fā)的重要支撐手段。
在智能領航輔助（NOA）場景中，系統(tǒng)需識別高速匝道、變道車輛、道路邊緣等要素，對訓練數(shù)據(jù)多樣性與標注精度要求很高。通過仿真構建城市快速路、高速公路等多類 NOA 場景，配合光照、天氣、車流密度等變量自動生成圖像與多模態(tài)同步數(shù)據(jù)。這類合成數(shù)據(jù)可用于訓練檢測、分割、追蹤等模型模塊，特別適合用于填補實車采集難以覆蓋的復雜或高風險場景，增強模型魯棒性。
融合感知模型依賴相機、毫米波雷達、激光雷達等多種傳感器協(xié)同輸入，對數(shù)據(jù)的同步性和一致性要求較高。通過仿真，可以同時生成這三類傳感器的視角數(shù)據(jù)，并自動對齊時間戳、坐標系和標注信息，輸出包括 3D 邊界框、語義分割、目標速度等在內的完整標簽，且格式兼容 nuScenes 等主流標準。這類數(shù)據(jù)可用于訓練融合模型識別道路上的異形障礙物，例如夜間難以通過視覺識別的散落雜物，或需要多模態(tài)補強感知的邊緣目標。仿真帶來的高度可控性也便于統(tǒng)一測試條件，對模型性能進行定量分析與精細化調優(yōu)。
在實際項目中，合成數(shù)據(jù)的價值不僅體現(xiàn)在生成效率和標注精度，更在于其能否與下游算法開發(fā)流程無縫銜接。為了實現(xiàn)這一目標，我們將 aiSim 導出的多模態(tài)原始數(shù)據(jù)，通過自研數(shù)據(jù)處理腳本，轉換為基本符合 nuScenes 標準格式的數(shù)據(jù)集。
數(shù)據(jù)構建流程如下：
1、編寫符合 nuScenes 規(guī)范的傳感器配置文件
首先，我們根據(jù) nuScenes 的數(shù)據(jù)結構要求，定義并生成了包含相機、雷達、激光雷達等傳感器的配置文件，包括傳感器類型、安裝位置、外參信息等。該步驟確保生成數(shù)據(jù)可直接映射至 nuScenes 的 calibrated_sensor.json 和 sensor.json。
圖6 激光雷達部分的傳感器配置文件
圖7 符合nuScenes格式的傳感器配置
2、利用 aiSim Stepped 模式導出對齊的原始數(shù)據(jù)
其次，在仿真階段，我們啟用了仿真器的 Stepped Simulation 模式，該模式支持以固定時間步長（如每 0.1 秒）推進仿真，并確保所有傳感器在同一時間戳輸出數(shù)據(jù)。這種方式實現(xiàn)了多模態(tài)數(shù)據(jù)的時間戳全局對齊，滿足 nuScenes 對數(shù)據(jù)同步的要求。
圖8 aiSim相機傳感器Bounding Box真值輸出
然后，在仿真運行中，我們導出包含圖像、點云、雷達、Ego Pose、2D/3D 標注等原始數(shù)據(jù)，場景長度約為 20 秒，覆蓋了一段在高流量城市交通中經過十字路口的場景，作為構建示例數(shù)據(jù)集的基礎。
3、結構化轉換為 nuScenes JSON 格式
此外，使用自研轉換腳本，我們將導出的原始數(shù)據(jù)組織并填充為 nuScenes 所需的各類 JSON 文件，并和標準格式對齊，包括：
scene.json：記錄場景序列；
sample.json：定義幀級時間結構；
sample_data.json：圖像、雷達、點云等數(shù)據(jù)路徑與時間戳；
calibrated_sensor.json 和 sensor.json：傳感器類型及配置；
ego_pose.json：車輛軌跡；
sample_annotation.json：3D 邊界框、類別、屬性；
instance.json、category.json、visibility.json 等其他語義層級數(shù)據(jù)。
圖9 nuScenes 標準數(shù)據(jù)集JSON結構表
4、數(shù)據(jù)集結構搭建完成
最終，構建完成的數(shù)據(jù)集具備完整的時空同步結構與語義標簽，可直接用于視覺感知、雷達檢測、融合感知等模型訓練與評估任務。該流程驗證了合成數(shù)據(jù)向標準訓練數(shù)據(jù)的轉換路徑，并具備可擴展性，適用于更大規(guī)模的批量數(shù)據(jù)生成。
圖10 激光雷達點云 + 相機融合標注框
圖11 激光雷達點云 + 同類型標注框 （俯視/側視）
這一完整流程不僅驗證了合成數(shù)據(jù)在工程流程中的落地能力，也為后續(xù)基于大規(guī)模仿真生成標準訓練集打下了結構基礎。
四、aiSim：感知研發(fā)全流程平臺
在自動駕駛感知系統(tǒng)的開發(fā)過程中，仿真平臺已逐漸發(fā)展為合成數(shù)據(jù)生產的重要基礎設施。aiSim 通過集成環(huán)境建模、傳感器仿真、多模態(tài)數(shù)據(jù)輸出與標準格式轉換等功能，支持從場景構建到數(shù)據(jù)集生成的完整流程。
1、多樣場景與數(shù)據(jù)格式的靈活支持
aiSim 可精細還原環(huán)視系統(tǒng)中魚眼相機的安裝布局、圖像畸變特性及 BEV 視角拼接邏輯，生成貼近實車采集的高保真圖像。同時，平臺有一套自成體系的仿真數(shù)據(jù)組織與輸出機制，涵蓋視覺、激光雷達、毫米波雷達等多類型傳感器數(shù)據(jù)及真值標注。支持通過腳本調度自動批量生成不同氣候、光照、地形和交通條件下的多樣化場景，滿足大規(guī)模訓練與邊緣場景驗證的需求。
2、從物理建模到標簽輸出的完整鏈條
借助圖形引擎，aiSim 實現(xiàn)了對真實物理光照、材質、陰影和天氣的動態(tài)建模。平臺支持相機、激光雷達、毫米波雷達等傳感器的物理與幾何特性建模，兼容 OpenCV、ROS 等常見開發(fā)標準。在數(shù)據(jù)輸出方面，aiSim 支持多傳感器同步控制，可自動生成對齊的 2D/3D 檢測框、語義標簽、Ego 軌跡等數(shù)據(jù)，覆蓋感知算法訓練常見需求，減少數(shù)據(jù)清洗與后處理工作量。
3、工程集成與可擴展性
aiSim 提供圖形界面、工具鏈與開放 API，方便用戶將其集成至企業(yè)現(xiàn)有的數(shù)據(jù)平臺和模型訓練流程中。平臺內的場景配置與資源系統(tǒng)具備良好的可擴展性，支持用戶自定義傳感器布設、交通要素和場景資產，用于支持環(huán)視系統(tǒng)、感知模型、融合算法等不同研發(fā)階段的需求。
無論是環(huán)視系統(tǒng)的泊車能力與虛擬標定，還是面向 NOA 和多模態(tài)融合的訓練任務，仿真生成的數(shù)據(jù)都在感知系統(tǒng)的實際落地中提供了可衡量、可擴展的價值。讓數(shù)據(jù)獲取從“拍”到“造”，從“靠人”到“自動”，為智能駕駛研發(fā)提速、降本、增穩(wěn)。
相關產品
免責聲明
- 凡本網注明“來源：化工儀器網”的所有作品，均為浙江興旺寶明通網絡有限公司-化工儀器網合法擁有版權或有權使用的作品，未經本網授權不得轉載、摘編或利用其它方式使用上述作品。已經本網授權使用作品的，應在授權范圍內使用，并注明“來源：化工儀器網”。違反上述聲明者，本網將追究其相關法律責任。
- 本網轉載并注明自其他來源（非化工儀器網）的作品，目的在于傳遞更多信息，并不代表本網贊同其觀點和對其真實性負責，不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時，必須保留本網注明的作品第一來源，并自負版權等法律責任。
- 如涉及作品內容、版權等問題，請在作品發(fā)表之日起一周內與本網聯(lián)系，否則視為放棄相關權利。
采購中心