數(shù)據(jù)閉環(huán)的快速周轉(zhuǎn)和低成本是提升模型性能的關(guān)鍵，而4D標(biāo)簽技術(shù)在定位和建圖上的應(yīng)用，以及端到端方法的逐步迭代，如從3W點(diǎn)1.0到3.0，進(jìn)一步突出了技術(shù)進(jìn)步的重要性。車端后處理算法的轉(zhuǎn)變，即算法向云平臺(tái)遷移，成為增值標(biāo)注方案的一部分，顯示了自動(dòng)駕駛技術(shù)的發(fā)展趨勢(shì)。

一、純視覺自動(dòng)標(biāo)注總結(jié)與趨勢(shì)分析

在自動(dòng)駕駛領(lǐng)域，對(duì)于感知相關(guān)的AI產(chǎn)品而言，模型的迭代效率和成本是核心競(jìng)爭(zhēng)力所在。其關(guān)鍵在于用于更新模型的數(shù)據(jù)成本與效率，以及數(shù)據(jù)閉環(huán)的運(yùn)轉(zhuǎn)速度和成本。4D Label在本質(zhì)上與定位和建圖密切相關(guān)，特別是靜態(tài)標(biāo)注環(huán)節(jié)，高精度、高穩(wěn)定性的定位建圖是4D Label的重要基礎(chǔ)。

端到端技術(shù)在自動(dòng)駕駛領(lǐng)域呈現(xiàn)出逐步發(fā)展的趨勢(shì)。從早期的Sense+Rule模式，發(fā)展到BEV技術(shù)，將空間融合應(yīng)用于網(wǎng)絡(luò)，再到將planning等功能融入網(wǎng)絡(luò)的3.0階段，技術(shù)不斷迭代升級(jí)。在這一趨勢(shì)下，車端后處理算法逐漸從車輛終端遷移到云端，成為真值標(biāo)注方案的一部分，其作用不可忽視。此外，數(shù)據(jù)合成和仿真系統(tǒng)在自動(dòng)駕駛算法構(gòu)建中的重要性日益凸顯，尤其在算法測(cè)試環(huán)節(jié)，發(fā)揮著關(guān)鍵作用。

二、數(shù)據(jù)仿真技術(shù)詳解仿真技術(shù)概述與感知仿真特點(diǎn)

數(shù)據(jù)仿真在自動(dòng)駕駛算法開發(fā)中占據(jù)重要地位，其涵蓋數(shù)字孿生概念，主要包含兩個(gè)關(guān)鍵模塊:一是Real2Sim，即利用真實(shí)數(shù)據(jù)進(jìn)行數(shù)字化重建，生成仿真場(chǎng)景；二是Sim2Real，將仿真數(shù)據(jù)渲染成真實(shí)數(shù)據(jù)。

與以往主要集中在感知、規(guī)劃或規(guī)控層面的仿真不同，感知仿真需要高度的圖像真實(shí)感，因?yàn)樗饕獮閿?shù)據(jù)生成服務(wù)。然而，目前業(yè)界現(xiàn)有的傳感器和仿真系統(tǒng)在滿足感知仿真需求方面存在一定局限性，如騰訊的游戲引擎等，其生成的場(chǎng)景真實(shí)感與感知需求仍有差距，場(chǎng)景庫(kù)也較為受限。當(dāng)前，從真實(shí)數(shù)據(jù)重建、合成到場(chǎng)景渲染的方式，因能最大程度保留場(chǎng)景真實(shí)感，被認(rèn)為是較具潛力的方向。

感知仿真涉及多方面內(nèi)容，包括場(chǎng)景庫(kù)構(gòu)建、傳感器仿真等。傳感器仿真難度較大，傳統(tǒng)方式需對(duì)每個(gè)傳感器的物理參數(shù)進(jìn)行仿真，工作量巨大且困難。因此，一些新方法如基于NeRF的技術(shù)，嘗試越過(guò)傳感器仿真環(huán)節(jié)，直接實(shí)現(xiàn)真實(shí)感重現(xiàn)，或通過(guò)文本控制生成相關(guān)場(chǎng)景數(shù)據(jù)，展現(xiàn)出較大的應(yīng)用潛力。

仿真數(shù)據(jù)生成流程與應(yīng)用

Real2Sim階段，首先對(duì)采集的數(shù)據(jù)進(jìn)行場(chǎng)景素材庫(kù)重建，包括靜態(tài)高精地圖重建、靜態(tài)場(chǎng)景紋理重建、自車軌跡重建以及動(dòng)態(tài)要素重建等。完成場(chǎng)景庫(kù)重建后，進(jìn)行場(chǎng)景合成，可對(duì)場(chǎng)景中的元素進(jìn)行替換和調(diào)整，如更換車輛及其行為軌跡，同時(shí)添加氣象要素等。在此基礎(chǔ)上，便可生成4D真值數(shù)據(jù)，為后續(xù)仿真提供數(shù)據(jù)支持.

Sim2Real階段，傳統(tǒng)方法涉及傳感器仿真、車輛動(dòng)力學(xué)仿真、交通參與者行為仿真、氣象仿真和場(chǎng)景渲染等多個(gè)環(huán)節(jié)，最終生成用于算法驗(yàn)證、極端場(chǎng)景生成和模型測(cè)試的數(shù)據(jù)。在算法驗(yàn)證方面，利用仿真數(shù)據(jù)可快速驗(yàn)證新算法，避免了使用物理數(shù)據(jù)時(shí)需改裝車輛和長(zhǎng)時(shí)間采集數(shù)據(jù)的繁瑣過(guò)程；在極端場(chǎng)景生成方面，能夠生成如高速公路上出現(xiàn)寵物等難以采集的長(zhǎng)尾數(shù)據(jù)；在模型測(cè)試方面，由于可獲取場(chǎng)景中每個(gè)模塊的數(shù)據(jù)，可對(duì)感知算法、定位算法、決策規(guī)劃算法等進(jìn)行單環(huán)節(jié)或端到端測(cè)試。

仿真數(shù)據(jù)對(duì)模型性能的影響

業(yè)界一直在探索何種仿真數(shù)據(jù)能夠有效替代真實(shí)數(shù)據(jù)提升模型性能，并進(jìn)行了大量驗(yàn)證實(shí)驗(yàn)。以光流標(biāo)注為例，實(shí)驗(yàn)表明數(shù)據(jù)分布對(duì)仿真數(shù)據(jù)提升模型性能具有顯著影響。直接將仿真光流數(shù)據(jù)輸入網(wǎng)絡(luò)，模型性能提升6%；調(diào)整仿真數(shù)據(jù)光流的分布，使其接近真實(shí)數(shù)據(jù)光流的分布后，模型預(yù)測(cè)精度提升了18.5% 。

此外，相機(jī)內(nèi)外參一致性、標(biāo)注誤差以及場(chǎng)景分布等因素也會(huì)影響仿真數(shù)據(jù)對(duì)模型性能的提升效果。通過(guò)對(duì)仿真數(shù)據(jù)添加與人工標(biāo)注相似的誤差擾動(dòng)，調(diào)整仿真數(shù)據(jù)的場(chǎng)景分布使其與真實(shí)數(shù)據(jù)一致，均能進(jìn)一步提升模型性能。由此可見，生成仿真數(shù)據(jù)時(shí)，數(shù)據(jù)分布接近真實(shí)數(shù)據(jù)比單純追求逼真程度更為重要。

4D Label與仿真的關(guān)聯(lián)及仿真技術(shù)新進(jìn)展

4D Label在進(jìn)行4D重建過(guò)程中，收集的靜態(tài)和動(dòng)態(tài)重建數(shù)據(jù)可作為場(chǎng)景庫(kù)素材，為仿真器提供豐富資源。基于這些素材，能夠生成幀數(shù)據(jù)并進(jìn)行仿真測(cè)試。然而，當(dāng)前的場(chǎng)景合成在仿真過(guò)程中存在一定缺陷，并非閉環(huán)仿真，無(wú)法模擬車輛間的博弈規(guī)避行為，這對(duì)更高級(jí)的仿真器提出了需求。

在仿真技術(shù)新進(jìn)展方面，NeRF和3DGS是較為突出的技術(shù)。二者都擅長(zhǎng)新視角合成，3DGS效率相對(duì)較高，而NeRF訓(xùn)練效率較低。NeRF基于多層感知器，通過(guò)給定相機(jī)參數(shù)和位置信息，恢復(fù)密度和顏色值，沿射線采樣并加權(quán)得到像素顏色，在真實(shí)感渲染方面表現(xiàn)出色。UniSim仿真框架基于NeRF，對(duì)動(dòng)態(tài)物體單獨(dú)建模，將場(chǎng)景劃分為多個(gè)MLP進(jìn)行重建，具備場(chǎng)景編輯和合成能力。Stress surf則利用激光雷達(dá)將場(chǎng)景變換成符號(hào)距離場(chǎng)，增加幾何約束，解決了NeRF在幾何重建方面的不足。雖然NeRF目前更適合內(nèi)插視角合成，在處理未出現(xiàn)過(guò)的視角時(shí)效果不佳，但通過(guò)結(jié)合激光雷達(dá)點(diǎn)云約束或?qū)?chǎng)景進(jìn)行分解等方式，其應(yīng)用范圍正在不斷拓展。

三、數(shù)據(jù)合成的應(yīng)用案例

解決跨車泛化性問(wèn)題

在3D感知任務(wù)中，當(dāng)傳感器安裝位置發(fā)生變化時(shí)，模型泛化性問(wèn)題突出，這是目前自動(dòng)駕駛量產(chǎn)中的痛點(diǎn)。特斯拉采用Rectify方式對(duì)圖像進(jìn)行校正，但該方法僅能處理相機(jī)純旋轉(zhuǎn)的情況，無(wú)法應(yīng)對(duì)相機(jī)高度變化。

利用深度模型生成的depth數(shù)據(jù)可有效解決這一問(wèn)題。盡管深度模型生成的depth圖尺度可能不準(zhǔn)確，但能保證圖像真實(shí)感。通過(guò)對(duì)已有相機(jī)高度數(shù)據(jù)進(jìn)行變換，結(jié)合真值隨相機(jī)變換角度的調(diào)整，可生成新的訓(xùn)練數(shù)據(jù)，使模型在無(wú)需采集新車輛數(shù)據(jù)的情況下，就能適配新的車輛，且對(duì)depth圖精度要求不高，經(jīng)實(shí)踐驗(yàn)證該方法有效。

生成罕見場(chǎng)景數(shù)據(jù)

此外，對(duì)于錐筒等物體的仿真，可采用增強(qiáng)現(xiàn)實(shí)的方法。獲取clip的3D相機(jī)位置和錐筒的3D模型，將錐筒放置在3D空間中，利用透視變化效果自動(dòng)調(diào)整尺度，無(wú)需人工干預(yù)。通過(guò)對(duì)比發(fā)現(xiàn)，基于真實(shí)背景合成的數(shù)據(jù)，其真實(shí)感明顯高于游戲引擎生成的數(shù)據(jù)。

四、4D交互式標(biāo)注工具標(biāo)注工具的必要性與功能

在自動(dòng)駕駛數(shù)據(jù)標(biāo)注過(guò)程中，盡管自動(dòng)重建和預(yù)刷技術(shù)不斷發(fā)展，但從感知角度來(lái)看，人工質(zhì)檢在現(xiàn)階段仍難以完全替代。只有當(dāng)高質(zhì)量數(shù)據(jù)量遠(yuǎn)超有誤差的數(shù)據(jù)量，且模型能夠自動(dòng)處理數(shù)據(jù)偏差，同時(shí)實(shí)時(shí)閉環(huán)測(cè)試結(jié)果也支持這一情況時(shí)，人工質(zhì)檢才可能被去除。目前，動(dòng)態(tài)物體標(biāo)注已通過(guò)量產(chǎn)驗(yàn)證，無(wú)需人工質(zhì)檢，但靜態(tài)物體標(biāo)注仍需依賴標(biāo)注工具。

4D交互式標(biāo)注工具具備多種功能，在地圖標(biāo)注工具的基礎(chǔ)上，增加了3D可視化結(jié)果顯示功能，并支持將結(jié)果實(shí)時(shí)投影到不同視角的圖像上，方便查看對(duì)齊效果。此外，該工具還實(shí)現(xiàn)了3D與2D標(biāo)注的實(shí)時(shí)聯(lián)動(dòng)，即調(diào)整3D標(biāo)注時(shí)，2D標(biāo)注能實(shí)時(shí)響應(yīng)，反之亦然。這些功能為標(biāo)注人員提供了便利，有助于提高標(biāo)注的準(zhǔn)確性和效率。

標(biāo)注工具的開發(fā)與應(yīng)用

由于早期業(yè)界缺乏滿足4D標(biāo)注需求的工具，且現(xiàn)有工具存在適配性問(wèn)題，部分公司選擇自行開發(fā)標(biāo)注工具。雖然開發(fā)此類工具涉及如OpenGL、WebGL等技術(shù)，具有一定技術(shù)門檻，但開發(fā)成本并不高。隨著4D標(biāo)注技術(shù)的逐漸成熟，未來(lái)也可考慮采用外界的標(biāo)注工具。

目前，國(guó)外如scale點(diǎn)AI、國(guó)內(nèi)如總數(shù)智能等公司均有相關(guān)標(biāo)注工具，但在數(shù)據(jù)安全性和工具成熟度方面，各有優(yōu)劣。4D交互式標(biāo)注工具在實(shí)際應(yīng)用中表現(xiàn)出色，通過(guò)標(biāo)注一個(gè)路口的數(shù)據(jù)，可自動(dòng)為幾十到幾百個(gè)經(jīng)過(guò)該路口的數(shù)據(jù)片段提供高精度真值標(biāo)注。同時(shí)，利用重定位技術(shù)，還能為夜晚、極端天氣等極端場(chǎng)景提供原本難以標(biāo)注的數(shù)據(jù)，大大提升了真值的生產(chǎn)效率和精度。

五、數(shù)據(jù)閉環(huán)的重要性與實(shí)現(xiàn)量產(chǎn)中的數(shù)據(jù)難題

數(shù)據(jù)閉環(huán)是自動(dòng)駕駛AI感知的關(guān)鍵環(huán)節(jié)，特斯拉在這方面表現(xiàn)突出，其端的方案領(lǐng)先業(yè)界，很大程度上得益于數(shù)據(jù)的采集和存儲(chǔ)。在自動(dòng)駕駛量產(chǎn)過(guò)程中，面臨諸多數(shù)據(jù)相關(guān)的難題。

數(shù)據(jù)量龐大且回傳壓力大，如日測(cè)試?yán)锍倘暨_(dá)到2000萬(wàn)公里，數(shù)據(jù)存儲(chǔ)成本極高，特別是BEV數(shù)據(jù)，因其視角多、激光雷達(dá)點(diǎn)云數(shù)據(jù)量大，PB級(jí)別的存儲(chǔ)費(fèi)用高昂。標(biāo)注復(fù)雜且成本高，不同場(chǎng)景下的標(biāo)注需求多樣，如不同城市的紅綠燈樣式各異，給標(biāo)注工作帶來(lái)困難。測(cè)試成本高，包括車輛成本和時(shí)間成本，測(cè)試100萬(wàn)里程需要耗費(fèi)大量時(shí)間和資源。

數(shù)據(jù)閉環(huán)的關(guān)鍵模塊

數(shù)據(jù)閉環(huán)旨在解決上述量產(chǎn)中的痛點(diǎn)問(wèn)題，主要包含數(shù)據(jù)挖掘、標(biāo)注工具、仿真和模型優(yōu)化等關(guān)鍵模塊。

標(biāo)注工具需具備高度自動(dòng)化功能，以降低標(biāo)注成本和提高效率。通過(guò)優(yōu)化標(biāo)注流程和采用先進(jìn)技術(shù)，減少人工干預(yù)，提高標(biāo)注的準(zhǔn)確性和速度。利用仿真手段構(gòu)建數(shù)據(jù)集，生成難以采集的場(chǎng)景數(shù)據(jù)，如極端天氣、罕見交通狀況等，為模型訓(xùn)練提供豐富的數(shù)據(jù)支持。最后，對(duì)模型進(jìn)行優(yōu)化和評(píng)測(cè)，并通過(guò)OTA升級(jí)實(shí)現(xiàn)模型的持續(xù)改進(jìn)，在注冊(cè)數(shù)據(jù)集的同時(shí)進(jìn)行評(píng)測(cè)，確保模型性能不斷提升。

數(shù)據(jù)挖掘的方法

云端數(shù)據(jù)挖掘通過(guò)多種方式實(shí)現(xiàn)，如以圖搜圖、以文字搜圖、以視頻搜視頻等。在數(shù)據(jù)入庫(kù)時(shí)打標(biāo)簽，以便根據(jù)圖像、文字或視頻信息快速檢索相關(guān)數(shù)據(jù)集。利用工況大模型和基于4D重建的規(guī)則，可挖掘特定場(chǎng)景的數(shù)據(jù)，如通過(guò)設(shè)定十字路口相關(guān)的軌跡規(guī)則，獲取十字路口的數(shù)據(jù)。隨著技術(shù)發(fā)展，未來(lái)有望實(shí)現(xiàn)通過(guò)文字描述自動(dòng)生成訓(xùn)練集，進(jìn)一步解決數(shù)據(jù)獲取難題。

車端數(shù)據(jù)挖掘采用多種觸發(fā)模式，包括基于規(guī)則和基于learning的方式。通過(guò)判斷傳感器之間、算法之間以及人機(jī)之間的一致性，如雷達(dá)與相機(jī)感知不一致、不同相機(jī)重疊視野內(nèi)感知不一致等，以及特定場(chǎng)景，觸發(fā)數(shù)據(jù)回傳。此外，還可通過(guò)在車端部署檢索模型，實(shí)現(xiàn)實(shí)時(shí)主動(dòng)式數(shù)據(jù)挖掘，提高數(shù)據(jù)挖掘效率 。

免責(zé)聲明：此文內(nèi)容為本網(wǎng)站轉(zhuǎn)載企業(yè)宣傳資訊，僅代表作者個(gè)人觀點(diǎn)，與本網(wǎng)無(wú)關(guān)。僅供讀者參考，并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。