2023年8月30日,由西安交通大學中國工程院院士鄭南寧團隊與中信科移動通信技術股份有限公司(簡稱“中信科移動”)聯合創建的網聯協同智能實驗室(簡稱“聯合實驗室”)在西安舉行揭牌儀式,并在會上首次發布了聯合實驗室研究的三項成果:基于通信網絡的多模態融合數據集、融合感知系統和超低時延相機。

中國工程院院士、西安交通大學教授、聯合實驗室學術委員會主任鄭南寧,中信科移動總經理孫曉南,西安交通大學科研院常務副院長邵金友,西安交通大學人工智能學院執行院長、教授、聯合實驗室理事、主任辛景民,以及來自西安交通大學人工智能學院的師生、中信科移動的領導專家等30余人出席揭牌儀式。

中信科移動總經理孫曉南在致辭中指出,此次合作是中信科移動與西安交通大學的一次重要戰略合作,也是雙方在產學研合作領域的一次深度探索。通過聯合實驗室的建立,實現優勢互補,在人才培養、技術創新、成果轉化等方面開展全方位合作,共同推動科技創新和產業發展。

鄭南寧院士在會上表示,聯合實驗室將以 5G 網絡智能應用為基礎,以多模態融合感知、邊緣計算、算力網絡、數據模型管理平臺、數據融合、數據交互、自動駕駛決策系統以及數據標準和規范等方面為主要研究方向,致力于打造國際一流的科研創新平臺,推動科技成果轉化和產業化。同時,鄭院士也指出,人工智能技術和產業的發展,需要產學研進一步協同,優勢互補,在算力、算法、數據三個核心層面持續創新,共同探索通信和計算深度融合的新機制,以及更加完善且具有實際應用價值的數據標準和規范。

中信科移動5G智能應用研發總監、聯合實驗室理事張巖在會上首次公布了網聯協同智能實驗室的規劃布局,并展示了實驗室的最新三大研究成果:基于通信網絡的多模態融合數據集、融合感知系統、超低時延相機。
基于通信網絡的多模態融合數據集
在西安交通大學鄭南寧院士指導下,中信科移動與北京大學、西安交通大學、香港科技大學等多所知名院校聯合發布基于通信網絡的多模態融合數據集,具備多車端、多路端多視角、多模態感知信息、多類型標注多場景采集、多種通信條件等完備性特征?捎糜谥悄軐Ш揭巹,車輛多感知決策;民用無人駕駛航空試驗、智能融合空地系統建設等低空經濟產業;實時地圖構建與更新,智能AGV規劃與導航等多種垂直行業應用。

融合感知系統
中信科移動依托自主研發的視覺2D/3D目標檢測算法、雷達目標檢測算法、融合感知算法以及定制化事件檢測算法,聯合西安交通大學鄭南寧院士團隊共同打造出業內領先的融合感知系統。分別適配激光雷達、毫米波雷達和相機等多傳感器的多模態數據,可在X86、ARM及ASIC等多種異構計算平臺上靈活部署。雙方持續緊密合作,通過以數據為中心的AI閉環不斷迭代,結合非線性優化與高斯濾波及環境先驗分布,相比于業界通用方案,進一步降低對時空標定的強依賴,實現更優的時空同步,實時輸出更可信且可靠的感知數據,可在實際場景中為輔助駕駛、高級別自動駕駛等提供可用感知數據,解決長尾問題,突破應用瓶頸。

超低時延相機
中信科移動聯合舜宇光學研究院定制化開發了超低時延相機、ISP算法和自研系統平臺,實現更低延時和更高幀率的圖像輸出;相機內置GPS高精度定位,支持與外部傳感器(激光雷達、相機)的時間同步,進一步將融合感知的確定性時延大幅降低,真正滿足數據融合的需求,降低端到端全鏈路時延,數據響應更加及時可靠,可用于多種時延敏感性視覺應用場景。

聯合實驗室將充分發揮產學研聯合創新的優勢,在AI核心三要素算力、算法和數據層面持續突破,深度融合5G網絡和人工智能應用,依托算力基站、邊緣計算單元等構建智能化算力網絡,利用算力節點的動態調度,實現大規模數據應用場景中算力和通信帶寬的動態均衡,最大化數據閉環的效能,為智能物流、智慧工廠、智慧礦山、智慧交通、智慧能源等垂直行業提供更高級別的智能化應用及服務,同時共享更具實際應用價值的數據集以及數據標準和規范。

未來,中信科移動將與西安交通大學一起,共同探索產學研合作的新模式、新機制,推動科技創新和產業發展,為國家重大戰略及經濟社會發展做出更大的貢獻。