隨著深度學(xué)習(xí)在多個人工智能的細(xì)分領(lǐng)域日趨成熟化和規(guī)模化,多模態(tài)融合正成為人工智能研究新的熱點方向和趨勢。作為國內(nèi)知名互聯(lián)網(wǎng)公司,汽車之家在人工智能研究和應(yīng)用方面一直處于領(lǐng)先地位,并將多模態(tài)融合技術(shù)應(yīng)用于為主機廠賦能的數(shù)字化產(chǎn)品中。近期,汽車之家人工智能算法團隊在今年TextCaps任務(wù)中CIDEr獲得了98.59分的成績,名次僅次于微軟,斬獲全球亞軍。

TextCaps是Facebook發(fā)布的一個大型的圖像閱讀理解任務(wù),該項比賽囊括了圖像識別、圖像描述、圖像字幕等多個圖像領(lǐng)域最前沿的任務(wù),一經(jīng)宣布就吸引了眾多國內(nèi)外頂尖的學(xué)術(shù)專家以及科研團隊參加。汽車之家代表隊在眾多來自全球頂尖的算法團隊角逐中脫穎而出,在所有參加團隊中排名第二、國內(nèi)參加團隊中排名第一,充分展現(xiàn)了汽車之家在高科技研究中攻堅克難的匠心精神。

Text-Caption是一個涉及圖像中視覺信息和文字信息的多模態(tài)任務(wù),其目的是對一張圖片生成一句涵蓋其所有信息的文字描述。它不僅需要利用模型去理解圖片的內(nèi)容,還需要用自然語言去表達(dá)它們之間的關(guān)系,需要參賽者在CV(Ocr、Object Detection)、NLP(Text Generation)、Model Fusion等領(lǐng)域都具備很高的專業(yè)知識,具有很高的挑戰(zhàn)性。

基于公司的海量數(shù)據(jù),汽車之家人工智能算法團隊在語音、視覺、NLP等技術(shù)方向均積累了大量的應(yīng)用經(jīng)驗,并基于人工智能多模態(tài)技術(shù)的領(lǐng)先優(yōu)勢賦能公司數(shù)據(jù)產(chǎn)品研發(fā),在知識庫構(gòu)建、培訓(xùn)系統(tǒng)開發(fā)和智能生成等場景中廣泛應(yīng)用。以智能培訓(xùn)平臺為例,該平臺旨在滿足主機廠新車發(fā)布后培訓(xùn)經(jīng)銷商銷售能力的需求,結(jié)合汽車之家和平安集團的數(shù)據(jù)及技術(shù)優(yōu)勢,將人工智能多模態(tài)技術(shù)應(yīng)用于智能陪練、防作弊、問答機器人3大場景模塊。

隨著公司創(chuàng)新業(yè)務(wù)的大力發(fā)展,越來越多的場景需要人工智能技術(shù)的加持,例如視頻資源的結(jié)構(gòu)化分析、視頻/圖片中文本知識結(jié)構(gòu)化提取存儲、通話中的語義理解等。汽車之家始終將科技軟實力作為公司數(shù)字化的基石,其技術(shù)團隊在多模態(tài)方向的技術(shù)積累與突破,不僅為公司的“生態(tài)化”戰(zhàn)略推進(jìn)打造技術(shù)護(hù)城河,同時為公司創(chuàng)新業(yè)務(wù)發(fā)展與賦能行業(yè)數(shù)字化轉(zhuǎn)型提供了堅實后盾。