為了確保自動駕駛汽車在行駛中能夠安全、可靠地執(zhí)行任務(wù)，了解周圍環(huán)境的變化至關(guān)重要。近年來，一些技術(shù)能夠通過分析攝像機圖像來估計周圍物體的位置和分布，這對于理解大規(guī)模場景的結(jié)構(gòu)非常有幫助。

然而，這些技術(shù)主要關(guān)注的是當(dāng)前的3D空間，對于未來物體可能的位置和狀態(tài)并沒有太多考慮。

為了解決這個問題，最近，毫末智行聯(lián)合上海交大、國防科大、北京理工大學(xué)提出了一種新的方法，叫做Cam4DOcc。

這是一個專門為僅使用攝像頭進行4D占用預(yù)測而設(shè)計的基準(zhǔn)測試，用于評估未來一段時間內(nèi)周圍場景的變化。

Cam4DOcc基準(zhǔn)測試的目標(biāo)是使用攝像頭圖像作為輸入，預(yù)測當(dāng)前和未來短時間內(nèi)（通常是幾秒內(nèi)）的3D空間占用狀態(tài)。

包括對一般可移動物體（GMO）和一般靜態(tài)物體（GSO）的占用狀態(tài)進行預(yù)測。預(yù)測任務(wù)又分為多個級別，從預(yù)測膨脹的GMO到預(yù)測精細(xì)的GMO、GSO和自由空間。

Cam4DOcc基準(zhǔn)測試為自動駕駛中的4D占用預(yù)測提供了一個標(biāo)準(zhǔn)化的評估平臺，使研究人員能夠比較不同算法的性能。通過這些測試，研究人員可以更好地理解和改進自動駕駛系統(tǒng)在理解和預(yù)測周圍環(huán)境方面的能力。

毫末預(yù)測，自動駕駛領(lǐng)域中下一個重要的挑戰(zhàn)將是僅使用攝像頭進行4D占據(jù)預(yù)測。這項技術(shù)不僅可以通過攝像頭圖像擴展時間上的占據(jù)預(yù)測，還要在BEV格式和預(yù)定義類別之外拓展語義/實例預(yù)測。

該論文的主要核心貢獻包括：

提出了Cam4DOcc基準(zhǔn)，這是第一個促進基于攝像頭的4D占用預(yù)測未來工作的基準(zhǔn)。

通過利用現(xiàn)有數(shù)據(jù)集，提出了自動駕駛場景中預(yù)測任務(wù)的新數(shù)據(jù)集格式。

提供了四種新穎的基于攝像頭的4D占用預(yù)測基線方法，其中三種是現(xiàn)成方法的擴展。

還引入了一個新穎的端到端4D占用預(yù)測網(wǎng)絡(luò)，展示了強大的性能，為研究者提供了有價值的參考。

論文引入了標(biāo)準(zhǔn)化評估協(xié)議，并通過Cam4DOcc基于該協(xié)議進行了全面的實驗和詳細(xì)的分析。

下面我們來詳細(xì)剖析這篇論文。

01.

解鎖自動駕駛時空預(yù)測的超能力

該論文首先提出了一個新的數(shù)據(jù)集格式。

該格式基于現(xiàn)有的數(shù)據(jù)集（包括nuScenes、nuScenes-Occupancy和Lyft-Level5）進行了擴展和調(diào)整，這樣就可以適應(yīng)4D占用預(yù)測的需求，這里需求就包括關(guān)于可移動和靜態(tài)物體的連續(xù)占用狀態(tài)，以及它們的3D向后向心流的信息。

下圖為以原始和Scenes-Occupancy為基礎(chǔ)，在Cam4DOcc中構(gòu)建數(shù)據(jù)集的整體流程。

通過利用現(xiàn)有數(shù)據(jù)集，提出了自動駕駛場景中預(yù)測任務(wù)的新數(shù)據(jù)集格式被重組為一種新穎的格式，既考慮了一般的活動類別，也考慮了靜態(tài)類別，用于統(tǒng)一的四維空間占用預(yù)測任務(wù)。

如下圖所示，論文首先將原始nuScenesnu分割成時間長度為N = Np+Nf+1的序列。然后按順序?qū)梢茢?shù)據(jù)集動物體進行語義和實例注釋，并收集到 GMO 中。

包括自行車、公共汽車、汽車、建筑、摩托車、拖車、卡車和行人，它們都被轉(zhuǎn)換為當(dāng)前坐標(biāo)系（t = 0）。

之后，再對當(dāng)前3D空間進行體素化，并使用邊界框注釋語義/實際標(biāo)簽附加到可移動對象的網(wǎng)格。

值得注意的是，在此過程中，一旦出現(xiàn)以下情況，無效實例就會被丟棄。

（1）如果它是 Np 個歷史幀中新出現(xiàn)的對象，則其可見性在 6 個攝像機圖像中低于 40％

（2）它首先出現(xiàn)在 Nf 個傳入幀中或者

（3）它超出了在 t = 0 時預(yù)定義的范圍（H，W，L）。可見性通過相機圖像中顯示的實例的所有像素的可見比例來量化[29]。基于恒定速度假設(shè)[22]、[44]，利用順序注釋來填充缺失的中間實例。相同的操作也適用于 Lyft-Level5 數(shù)據(jù)集。

最后，論文作者利用Lyft-Level5數(shù)據(jù)集生成3D中的實例關(guān)聯(lián)生成三維向心流。利用此3D流來提高基于攝像頭的4D 占用預(yù)測的準(zhǔn)確性。

該論文的目標(biāo)不僅是預(yù)測GMO的未來位置，還要估計GSO的占用狀態(tài)和安全導(dǎo)航所需的自由空間。因此，作者們又進一步將原始nuScenes中的順序?qū)嵗⑨屌c從nuScenes-Occupancy轉(zhuǎn)換到當(dāng)前幀的順序占用注釋連接起來。這種組合平衡了自動駕駛應(yīng)用中下游導(dǎo)航的安全性和精度。GMO標(biāo)簽借鑒了原始nuScenes的邊界框標(biāo)注，可以看作是對可移動障礙物進行了膨脹操作。GSO 和免費標(biāo)簽由nuScenes-Occupancy提供，專注于周圍大型環(huán)境的更細(xì)粒度的幾何結(jié)構(gòu)。

介紹完數(shù)據(jù)集，接下來是評估協(xié)議。為了充分發(fā)揮僅使用攝像頭的 4D 占用預(yù)測性能，作者在 Cam4DOcc 中建立了具有不同復(fù)雜程度的各種評估任務(wù)和指標(biāo)。

論文在標(biāo)準(zhǔn)化評估協(xié)議中引入了四級占用預(yù)測任務(wù)：

（1）預(yù)測膨脹的GMO：所有占用網(wǎng)格的類別分為GMO和其他，其中來自nuScenes和LyftLevel5的實例邊界框內(nèi)的體素網(wǎng)格被注釋作為GMO。

（2）預(yù)測細(xì)粒度GMO：類別也分為GMO和其他，但GMO的注釋直接來自nuScenes-Occupancy的體素標(biāo)簽，去除了第2節(jié)中介紹的無效網(wǎng)格。

（3）預(yù)測膨脹的GMO、細(xì)粒度GSO和自由空間：類別分為來自邊界框注釋的GMO、遵循細(xì)粒度注釋的GSO和自由空間。

（4）預(yù)測細(xì)粒度GMO、細(xì)粒度GSO和自由空間：類別分為GMO和GSO，均遵循細(xì)粒度注釋，和自由空間。由于 Lyft-Level5 數(shù)據(jù)集缺少占用標(biāo)簽，因此作者僅對其第一個任務(wù)進行指標(biāo)評估。對于所有四個任務(wù)，作者使用交并集（IoU）作為性能指標(biāo)。作者分別評估當(dāng)前時刻 (t = 0) 占用率估計和未來時間 (t ∈ [1, Nf ]) 預(yù)測：

其中St'和St分別表示時間戳t處的估計體素狀態(tài)和真實體素狀態(tài)，更接近當(dāng)前時刻的時間戳的IoU對最終的IoUf貢獻更大。這符合“接近時間戳的占用預(yù)測對于后續(xù)運動規(guī)劃和決策更為重要”的yuan。

接下來，論文作者們又提出了四種基線。

為了建立一個全面比較的基準(zhǔn)，基于攝像頭的感知和預(yù)測功能，論文引入了四種不同類型的基線方法。

這些方法包括靜態(tài)世界占用模型、點云預(yù)測的體素化、基于2D-3D實例的預(yù)測。這些基線方法為論文提供了一個框架，以便可以比較和評估各種方法在當(dāng)前和未來占用估計方面的性能。

靜態(tài)世界占用模型可以理解為一種假設(shè)環(huán)境在短時間內(nèi)保持不變的簡單方法。在這種假設(shè)下，當(dāng)前估計的占用網(wǎng)格可以作為所有未來時間步的預(yù)測。這種方法僅基于靜態(tài)世界假設(shè)，即在預(yù)測的時間范圍內(nèi)，場景中的物體不會發(fā)生顯著的運動變化。（如下圖）

點云預(yù)測的體素化是指將點云預(yù)測的結(jié)果轉(zhuǎn)換為體素（voxel）表示的一種方法。

一般這個過程涉及幾個步驟：

深度估計：首先，使用環(huán)視攝像頭捕獲的圖像，通過深度估計算法生成連續(xù)的周圍視圖深度圖。

點云生成：接著，通過射線投射（ray casting）技術(shù)，將深度圖轉(zhuǎn)換為3D點云。這個過程模擬了激光雷達（LiDAR）的工作原理，通過多個攝像頭的深度信息來重建三維空間中的點。

點云預(yù)測：使用現(xiàn)有的點云預(yù)測方法（如PCPNet）來預(yù)測未來時間步的3D點云。這些方法通常基于當(dāng)前的點云數(shù)據(jù)，通過學(xué)習(xí)點云隨時間變化的模式來預(yù)測未來的點云。

語義分割：預(yù)測得到的點云通過語義分割算法（如Cylinder3D）進行處理，以提取可移動和靜態(tài)物體的點級標(biāo)簽。

體素化：最后，將預(yù)測得到的點云轉(zhuǎn)換為體素表示，即將每個點映射到一個三維網(wǎng)格中，形成占用網(wǎng)格（occupancy grid）。這樣，每個體素代表一個空間體積，其值表示該空間是否被物體占據(jù)。

這種方法的關(guān)鍵作用在于，它能夠?qū)Ⅻc云預(yù)測的結(jié)果轉(zhuǎn)換為一種適合于占用預(yù)測的格式，即體素化表示。通過這種方式，可以更好地評估和比較不同預(yù)測方法在自動駕駛場景中對動態(tài)和靜態(tài)物體未來狀態(tài)的預(yù)測能力。

基于2D-3D實例的預(yù)測指的是一種基于實例的預(yù)測方法，它使用環(huán)繞視圖攝像頭來預(yù)測近未來的語義場景，包括車輛、行人等動態(tài)物體的位置和運動。這種方法是作為Cam4DOcc基準(zhǔn)中的一個基線提出的，用于評估和比較不同的4D占用預(yù)測方法。

當(dāng)然，在智駕網(wǎng)看來，基于2D-3D實例的預(yù)測方法也有一定局限性。

這個方法涉及到2D實例預(yù)測的步驟，2D實例預(yù)測是指使用2D鳥瞰圖（BEV）格式的實例預(yù)測算法（如PowerBEV）來預(yù)測動態(tài)物體在未來時間步的語義分布。這些算法直接從多視圖2D攝像頭圖像中提取BEV特征，并結(jié)合時間信息來估計未來的實例分布。

局限就在于它依賴于2D BEV格式的預(yù)測，并且假設(shè)所有動態(tài)物體在同一高度上運動，這可能不適用于所有場景，特別是在復(fù)雜的城市環(huán)境中。

上述三種基線在執(zhí)行任務(wù)過程中都存在局限性，因為不能直接預(yù)測未來三維空間的占用狀態(tài)，它們需要額外的后處理——根據(jù)現(xiàn)有結(jié)果擴展和轉(zhuǎn)化為四維空間占用預(yù)測。

因此，論文也提出了端到端的4D占用預(yù)測網(wǎng)絡(luò)OCFNet。

02.

OCFNet：端到端4D占用預(yù)測的創(chuàng)新

OCFNet能夠直接從攝像頭圖像中預(yù)測3D空間的未來占用狀態(tài)，而不需要依賴于2D到3D的轉(zhuǎn)換。

OCFNet通過接收連續(xù)的環(huán)繞視圖攝像頭圖像，能夠同時預(yù)測當(dāng)前占用狀態(tài)和未來占用變化。該網(wǎng)絡(luò)利用多幀特征聚合模塊和未來狀態(tài)預(yù)測模塊，不僅預(yù)測了物體的占用狀態(tài)，還預(yù)測了物體的運動流，為自動駕駛車輛提供了更為豐富和精確的信息。

最后論文結(jié)果分析，OCFNet的性能在多個任務(wù)上超過了第一段分析的三個基線方法（靜態(tài)世界占用模型、點云預(yù)測的體素化、2D-3D實例基礎(chǔ)預(yù)測）。

比如下圖中的實驗任務(wù)是預(yù)測nuScenes和LyftLevel5上的GMO。這里OpenOccupancy-C、PowerBEV和OCFNet僅使用膨脹的GMO標(biāo)簽進行訓(xùn)練，而PCPNet則通過整體點云進行訓(xùn)練。OCFNet和OCFNet†優(yōu)于所有其他基線，在 nuScenes上的IoUf和IoUf'上超過基于BEV的方法12.4%和13.3%。在Lyft-Level5上，作者的OCFNet和OCFNet†在 IoUf和IoUf'方面始終優(yōu)于PowerBEV-3D 20.8%和21.8%。

下圖顯示了OCFNet和CFNet†對nuScenes GMO占用率進行預(yù)測的結(jié)果，這表明僅使用有限數(shù)據(jù)訓(xùn)練的OCFNet仍然可以合理地捕獲GMO占用網(wǎng)格的運動。此外，預(yù)測對象的形狀在未來的時間步長中會顯著失去一致性。OpenOccupancy-C的性能遠(yuǎn)優(yōu)于點云預(yù)測基線，但與PowerEBV-3D和OCFNet相比，估計當(dāng)前占用率和預(yù)測未來占用率的能力仍然較弱。

通過在提出的Cam4DOcc基準(zhǔn)上運行所有基線方法，作者收集了詳細(xì)的性能數(shù)據(jù)。評估指標(biāo)包括交并比IoU和視頻全景質(zhì)量（VPQ），這些指標(biāo)衡量了模型在當(dāng)前和未來時間步的占用預(yù)測準(zhǔn)確性。

結(jié)果表明，OCFNet在多個任務(wù)上都取得了更高的IoU分?jǐn)?shù)，這表明在預(yù)測當(dāng)前和未來的占用狀態(tài)方面更為準(zhǔn)確。

為了進一步證明OCFNet的優(yōu)勢，作者還進行了消融研究，展示了網(wǎng)絡(luò)中不同組件（如流預(yù)測頭）對性能的貢獻。

下圖實驗表明，在當(dāng)前和未來的占用率估計中，完整的OCFNet比沒有流預(yù)測頭的OCFNet增強了約 4%。原因可能是 3D 流程指導(dǎo)學(xué)習(xí)每個時間間隔的 GMO 運動，從而幫助模型確定下一個時間戳中占用估計的變化。

簡單來講，OCFNet的優(yōu)勢在于，通過端到端的方式直接預(yù)測未來的占用狀態(tài)，減少了傳統(tǒng)方法中的偽影，提供了更準(zhǔn)確的預(yù)測結(jié)果。

盡管OCFNet取得了顯著的成果，但如若應(yīng)用在未來的工作上，對于更長時間段內(nèi)多個移動物體的預(yù)測，論文認(rèn)為這一任務(wù)仍然具有挑戰(zhàn)性。不過未來的工作可以在此基礎(chǔ)上進一步提高預(yù)測的準(zhǔn)確性和魯棒性。

03.

說到最后，端到端的技術(shù)興起背后

馬斯克的第一性原理同樣可以化套用在自動駕駛的能力上。

如果從第一性原理來講，自動駕駛就是一個序列到序列的映射過程，輸入的是一個傳感器信號序列，可能包括多個攝像頭采集到的視頻、Lidar采集到的點云、GPS、IMU 等各類信息，輸出的是一個駕駛決策序列，例如可以是駕駛動作序列，也可以輸出軌跡序列再轉(zhuǎn)為操作動作。

這個過程與大部分AI任務(wù)基本一致，這種映射過程就相當(dāng)于一個函數(shù)y= f(x)，但實現(xiàn)這種函數(shù)難度較大，任務(wù)復(fù)雜，一般解決方式包括分治法、端到端、傳統(tǒng)分治法等。

端到端的方式原理最為簡單——直接尋找一個函數(shù)實現(xiàn)y=f(x)。

相比之下，端到端自動駕駛不進行任務(wù)切分，希望直接輸入傳感器數(shù)據(jù)、輸出駕駛決策（動作或者軌跡），從而拋棄傳統(tǒng)自動駕駛里的感知、預(yù)測、規(guī)劃、控制等各類子任務(wù)。這種方式有明顯的優(yōu)勢，例如：

•效果上：不但系統(tǒng)更簡單，還能實現(xiàn)全局最優(yōu)。

•效率上：由于任務(wù)更少，避免了大量重復(fù)處理，可以提高計算效率。

•數(shù)據(jù)收益：不需要大量的人工策略、只需要采集足夠多的優(yōu)質(zhì)駕駛數(shù)據(jù)來訓(xùn)練即可，可以通過規(guī)模化的方式（不斷擴展數(shù)據(jù)）來不斷提升系統(tǒng)的能力上限。

一個典型的端到端自動駕駛系統(tǒng)如圖所示：

輸入：大部分自動駕駛汽車都裝載了攝像頭、Lidar、毫米波雷達等各類傳感器，采集這些傳感器的數(shù)據(jù)，輸入深度學(xué)習(xí)系統(tǒng)即可。

輸出：可以直接輸出轉(zhuǎn)向角、油門、剎車等控制信號，也可以先輸出軌跡再結(jié)合不同的車輛動力學(xué)模型，將軌跡轉(zhuǎn)為轉(zhuǎn)向角、油門、剎車等控制信號。

可見，端到端自動駕駛系統(tǒng)就像人類的大腦，通過眼睛、耳朵等傳感器接收信息，經(jīng)過大腦處理后，下達指令給手腳執(zhí)行命令……但是這種簡單也隱藏了巨大的風(fēng)險，例如可解釋性很差，無法像傳統(tǒng)自動駕駛?cè)蝿?wù)一樣將中間結(jié)果拿出來進行分析；對數(shù)據(jù)的要求非常高，需要高質(zhì)量的、分布多樣的、海量的訓(xùn)練數(shù)據(jù)，否則 AI 就會實現(xiàn)垃圾進垃圾出。

與傳統(tǒng)的自動駕駛方式對比可見，同樣的輸入、同樣的輸出，傳統(tǒng)自動駕駛包含多個任務(wù)（多個模塊），但是端到端只有一個任務(wù)。此處容易產(chǎn)生一個誤區(qū)，即認(rèn)為傳統(tǒng)的自動駕駛是多模塊的、端到端自動駕駛是單模塊的，把分模塊與分任務(wù)的概念搞混了。

傳統(tǒng)的自動駕駛是分任務(wù)的，必然是多個模塊。端到端自動駕駛可以用單模塊來實現(xiàn)，當(dāng)然也可以用多模塊來實現(xiàn)，其區(qū)別在于是否端到端訓(xùn)練。分任務(wù)系統(tǒng)是每個任務(wù)獨立訓(xùn)練、獨立優(yōu)化、獨立測評的，而端到端系統(tǒng)是把所有模塊看成一個整體進行端到端訓(xùn)練、端到端測評的。

例如2023年CVPR best paper提出的UniAD就是一種分模塊端到端訓(xùn)練方式，這種方式通過端到端訓(xùn)練避免了多任務(wù)訓(xùn)練的融合難題實現(xiàn)全局最優(yōu)，又保留了分模塊系統(tǒng)的優(yōu)勢、可以拋出中間模塊的結(jié)果進行白盒化分析，反而更具靈活性對部署也更友好，如圖所示：

分任務(wù)的自動駕駛系統(tǒng)更像model centric系統(tǒng)，開發(fā)者通過不斷優(yōu)化各個模型來提升各個任務(wù)的效果。而端到端自動駕駛則更像data centric系統(tǒng)，通過對數(shù)據(jù)的調(diào)優(yōu)來提升系統(tǒng)效果。

早年，由于自動駕駛積累的數(shù)據(jù)還非常少，端到端系統(tǒng)的效果往往比較差。最近幾年，隨著帶高階輔助駕駛功能的量產(chǎn)車大規(guī)模落地，通過海量量產(chǎn)車可以采集到豐富的駕駛數(shù)據(jù)，覆蓋各類場景，再加上最近幾年 AI 算力的蓬勃發(fā)展，端到端自動駕駛在海量數(shù)據(jù)、海量算力的加持下，取得了突破性進展。

以特斯拉為例，通過遍布全球的幾百萬輛量產(chǎn)車，可以采集到足夠豐富、足夠多樣的數(shù)據(jù)，再從中選出優(yōu)質(zhì)數(shù)據(jù)，在云端使用數(shù)萬張 GPU、以及自研的 DOJO 進行訓(xùn)練和驗證，使得端到端自動駕駛能夠從 paper 變成 product。

到 2023 年初，特斯拉就聲稱已經(jīng)分析了從特斯拉客戶的汽車中收集的1000萬個視頻片段（clips），特斯拉判斷完成一個端到端自動駕駛的訓(xùn)練至少需要100萬個、分布多樣、高質(zhì)量的clips才能正常工作。

特斯拉通過分布在全球的幾百萬量產(chǎn)車，基于影子模式，每當(dāng)自動駕駛決策與人類司機不一致時，就會采集并回傳一個 clip，已經(jīng)累積了 200P 以上的數(shù)據(jù)，不管是數(shù)據(jù)規(guī)模、數(shù)據(jù)分布還是數(shù)據(jù)質(zhì)量上都遙遙領(lǐng)先。為了能在云端處理這些數(shù)據(jù)，當(dāng)前特斯拉擁有近10萬張A100，位居全球top5，預(yù)計到今年底會擁有100EFlops的算力，并針對自動駕駛自研了Dojo，在算力上同樣遙遙領(lǐng)先。

端到端的挑戰(zhàn)比當(dāng)前帶來的驚喜感要更多。

從特斯拉的開發(fā)經(jīng)驗來看，端到端自動駕駛門檻頗高，其所需的數(shù)據(jù)規(guī)模、算力規(guī)模遠(yuǎn)遠(yuǎn)超出國內(nèi)企業(yè)的承受能力。