“十四五”期間，國家出臺了針對人工智能的未來發(fā)展相關指導方案和激勵政策，涵蓋“新型基礎設施”建設、人工智能標準化與法規(guī)以及AI安全體系建設等。近幾年，智能汽車行業(yè)目前正處于快速發(fā)展階段，預計到2025年產業(yè)規(guī)模將突破5000億元。智能座艙、智能駕駛、智能底盤已經發(fā)展到了技術的高速“涌現(xiàn)”期，同時也是瓶頸期，有望通過整車智能維度打通三域的感知、硬件、軟件、執(zhí)行隔離，實現(xiàn)全維度融合智能決策，在有限的物理成本下構建最大的最大功能收益。

1. 價值與趨勢

1.1 大模型是AI重要的技術發(fā)展方向

AI成為車輛各域智能化功能實現(xiàn)飛躍的核心動力，大模型的引入為AI提供了泛智能的通用工具，顯著提高了智能深度，從用戶感知維度有了質的飛躍，實現(xiàn)了從“偽智能” 到“真智能” 的發(fā)展，達到了化繁為簡、無感交互、善解人意的用戶體驗，也是實現(xiàn)產品科技賦能的低成本、高收益突破點。根據(jù)對各大主流汽車企業(yè)和新勢力的調研分析，前瞻領域重點方向包括：

多模感知與功能融合

高自由度的智能控車

高效準確的類人交互

1.1 大模型已經成為人工智能的主流趨勢

現(xiàn)在，我們進入了人工智能時代，從過去多個算法、多個任務、很多模型，走向相對統(tǒng)一的大算法、多模態(tài)，自訓練、自監(jiān)督和預訓練的大模型，大模型讓汽車對于人和環(huán)境的理解更加全面和準確，對于場景的解析和任務功能的構建更加完整和高效。大模型在全過程的能力和優(yōu)勢在于：

語義和意圖解析

環(huán)境變量考慮

基于可調度的功能智能組合

功能過程中基于人的反饋微調

1. 應用策略

1.2 全局感知是整車智能實現(xiàn)的基礎

大模型的優(yōu)勢在于多模感知和協(xié)同決策?；谟脩舻淖匀徽Z言轉化成prompt輸入，結合車輛交通環(huán)境、艙內環(huán)境、駕乘人員狀態(tài)、車輛動態(tài)等多維度，實現(xiàn)功能自動化、程度自適應，給出當前最優(yōu)功能調度。全局感知包括了車輛智駕、底盤域的多類傳感器，各種域的傳感器共同協(xié)同大模型判斷當前場景的狀態(tài)，應該以什么功能或者性能喚起對應的功能，準確合理的解決用戶的需求。

智駕域：前視攝像頭、側方攝像頭、環(huán)視攝像頭、后攝像頭、Radar、Lidar；

底盤域：加速度傳感器、速度傳感器、轉向角傳感器、IMU、位置傳感器、踏板傳感器

駕艙類：艙內外溫度傳感器、空氣質量傳感器、DMS、OMS

1.3 大小混合模型解決全場景問題

模型越大對物理世界的描述就越準確，所以大模型可以云端部署，通過V2X實現(xiàn)車端互聯(lián)；小模型車端部署，實現(xiàn)無網(wǎng)、弱信號的功能冗余。在技術維度，小模型可以幫助大模型快速學習，大模型的能力可以傳給小模型，從而實現(xiàn)兩者聯(lián)動和互助，協(xié)同進化。

1.4 端云融合解決算力協(xié)同問題

大模型對于算力的消耗較大，對于一部分算力儲備不足的車輛采用端云結合的方式能夠有效實現(xiàn)功能的梯度化與用戶體驗的優(yōu)化。單車小模型保證了基礎功能的實現(xiàn)（基本智能），云端大模型實現(xiàn)了高維理解和執(zhí)行（高級智能），在網(wǎng)聯(lián)通訊好的情況下通過端云連接能夠實現(xiàn)秘書級的全局功能交互，同時保證不消耗車輛算力?；谠贫瞬渴鸬拇竽Ｐ屯ㄟ^知識蒸餾轉化成保留核心功能的小模型，通過OTA的方式更新迭代車輛單車小模型，實現(xiàn)單車體驗的可升級。

梯度化高效算力分配、降低單車成本

協(xié)同機制保證基礎體驗和高級體驗

多用戶訪問的大模型能迅速獲取知識實現(xiàn)微調

小模型OTA實現(xiàn)了單車功能的可升級

2. 交互和智駕的全新體驗

2.1 基于多模態(tài)實現(xiàn)功能交互，面向整車功能的端到端智能

大模型的應用使得自然語音交互不僅能更好的拆解用戶意圖，還能準確實現(xiàn)功能調度，提高了用戶對于車內功能使用的可用性與易用性。交互最難的地方有兩點：一是對用戶場景的感知和理解，二是該主動推送和組合什么功能滿足實時性需求。大模型對于這兩點恰恰是強項，通過車內外多模感知的信息采集，實現(xiàn)全維度的場景綜合理解，構建基于當前狀態(tài)下的最大概率的功能需求預測和量化設置。

過去功能

2.2 智能駕駛逐步開始試探性應用，有望解決復雜場景感知決策

智能駕駛對于大模型的應用相對謹慎，但是大模型對于自動駕駛的潛力巨大。對于城市交互、戶外環(huán)境的復雜感知環(huán)境的理解和判斷有助于大大提示智駕系統(tǒng)的認知能力和綜合決策能力，優(yōu)化長尾。

（1）更好的環(huán)境理解：大模型能夠準確識別車輛周圍的物體，如車輛、行人、道路標志等，并自動生成語義信息，幫助自動駕駛系統(tǒng)更好地理解復雜的城市交通環(huán)境。尤其是復雜的城市道路場景中，傳統(tǒng)的CNN、LSTM等算法無法非常好的理解交通參與體的意圖和行為，大模型的可以通過全場景要素綜合理解場景，基于經驗庫，提高預測的可能性和準確性。

（2）長尾場景和進化：基于人工代碼的規(guī)控模塊，無法考慮到駕駛場景中所有的corner case，且難以做到車輛動作的“擬人”決策和駕駛。對于城市中的復雜場景，和層出不窮的新場景，其應對能力是一個很大的考驗，需要工程師不停的去優(yōu)化、迭代算法。尤其是遇到未學習過的場景，系統(tǒng)會表現(xiàn)得不夠智能或無法應對，從而出現(xiàn)不好的處理策略。對于預測方面，環(huán)境交通參與體的行為具有很高的隨機性和無邏輯性，在概率估計和配置中，難以用現(xiàn)有的算法模型實現(xiàn)準確的預測，所以需要極為靈活的實時應對策略，這對于專家模型來說代碼量理論上是極大的。比如典型的“cut in”加塞場景，傳統(tǒng)智駕需要對車道預插入車輛的橫擺角進行實時檢測，結合其位置和速度預測其加塞行為，指標單一，而且是純表象直推策略。端到端是通過對場景的理解進行判斷，比如環(huán)境車輛動態(tài)、車道線、交通燈、轉向燈燈，通過多維度的元素，甚至是人類沒有意識到的要素進行綜合分析，判斷意圖，所以其理解的天花板更高。

2.3 整車智能維度將拔高多個功能的智能化水平

（1）駕駛安全性：通過大模型分析駕駛行為和行駛環(huán)境，可以實時預警潛在的安全風險，如疲勞駕駛、車道偏離等。同時，大模型還能對車輛狀態(tài)進行實時監(jiān)控和預測性維護，提前發(fā)現(xiàn)潛在故障，確保行車安全。對于人-車-云多模駕駛能夠強化安全性，實現(xiàn)不同主體駕駛能力的多方位感知、評估和預測，實現(xiàn)全工況安全駕駛。

（2）網(wǎng)聯(lián)與通訊：大模型還能助力車聯(lián)網(wǎng)服務的發(fā)展，通過實時數(shù)據(jù)處理和分析，提供實時交通信息、最優(yōu)路線規(guī)劃等服務。這方面也促進了V2X的方案落地，對于端云融合的實時安全性，超視距信息的可靠性等都有較大的提高。此外，大模型可以幫助車輛更好地與其他設備和服務連接，實現(xiàn)智能家居控制、遠程車輛監(jiān)控等功能，實現(xiàn)生態(tài)智能。

（3）個性化與定制化：車載信息娛樂系統(tǒng)將更加智能化。系統(tǒng)不僅能提供傳統(tǒng)的音樂、視頻播放功能，還能根據(jù)用戶的興趣和歷史行為推薦個性化內容，甚至能與用戶進行深入的對話和互動，極大地豐富了車內娛樂體驗。

（4）客戶服務領域：如通過智能客服機器人提供在線咨詢服務，解答用戶的各種疑問，提高服務效率和用戶滿意度。包括：車輛功能介紹與使用、車輛故障咨詢、車輛功能障礙提示分析與維修推薦、緊急救援。

（5）能源管理的優(yōu)化：對于電動車而言，大模型可以通過分析駕駛模式和能耗數(shù)據(jù)，優(yōu)化能源使用效率，提供更加精準的續(xù)航預測和充電建議，幫助用戶更好地管理車輛能源，比如考慮溫度、天氣、行駛道路的海報等因素，使能耗預估根據(jù)準確可靠。另一方面，也可以更加合理的規(guī)劃行程中的充電。

4. 優(yōu)劣勢分析

4.1 系統(tǒng)設計難度低，硬件成本有望降低

從算法架構設計的角度，其具有高度的整合度和一體化，省去了多個模塊的獨立架構設計和算法開發(fā)，降低代碼量和運行所調度的模塊數(shù)量。另一方面，由于模型直接從原始數(shù)據(jù)中學習，而不需要依賴于人工設計的特征或規(guī)則，所以刪去了枯燥的標注工作。最重要的還有一點就是省去了后期無窮盡的規(guī)則補充和場景補充，減少了人工維護和升級的成本。

4.2 有望實現(xiàn)真正意義上的類人交互

傳統(tǒng)的交互基本是采用專家模型+人工代碼實現(xiàn)的基礎智能體驗，面向真正靈活的“智能體”或者“秘書級”的交互體驗，目前大模型是最好的技術策略。由于其對語義和場景的理解要遠好于當前的傳統(tǒng)AI交互功能，所以對于座艙的體驗和面向下一代人車關系至關重要，在足夠大數(shù)據(jù)量后有望能成為秘書級別的交互能力，包括：

基于艙內外環(huán)境和人員的多模態(tài)感知；

場景復雜工況的綜合理解和預測；

多變量因素綜合分析下的最佳決策。

4.2 功能達到高度智能化需要較大的訓練資源

缺點也是顯而易見的，端到端架構將所有模塊串在一起統(tǒng)一訓練，更利于追求“全局最優(yōu)解”，但數(shù)據(jù)的針對性更弱、模型訓練的信號更弱，意味著提升性能所需的數(shù)據(jù)量和算力規(guī)模更大。從下邊圖可以看到，端到端的優(yōu)勢在數(shù)據(jù)量達到一定程度后性能顯著提高，但是缺點是數(shù)據(jù)量較小時候性能上升緩慢，遠低于解耦的傳統(tǒng)基于專家模型的策略。

圖片來源：2023年CVPR

5. 總結

綜上所述，大模型在汽車的應用具有跨時代的意義，也是通過海量數(shù)據(jù)的訓練使得功能形成了真正意義上具有綜合分析能力的智能體。無論是智能駕駛還是智能交互，其都能通過擅長的多模態(tài)感知、綜合分析、科學決策實現(xiàn)接近人腦思考方式的功能執(zhí)行鏈，滿足多變的場景的無數(shù)的需求。

相關知識

《大健康數(shù)據(jù)智能分析關鍵方法研究》
人工智能大模型在醫(yī)療健康領域的深度應用
大數(shù)據(jù)分析在疾病與健康研究方面的應用
覆蓋10大醫(yī)療應用場景！國產AI大模型應用典型案例盤點
2023醫(yī)療健康AI大模型行業(yè)研究報告
大模型實戰(zhàn)深度剖析用戶反饋
基于大數(shù)據(jù)老年多重慢性病風險預測模型構建探究
智能問診大模型的構筑：編織健康智慧的經緯
基于情緒智力新員工培訓系統(tǒng)模型初探.doc
汽車黑科技研究：車載健康的五個發(fā)展階段

網(wǎng)址: 整車智能大模型應用研究探析 http://m.gysdgmq.cn/newsview561922.html