隨著第24屆冬季奧林匹克運動會的臨近,冬奧村也即將正式開村,迎接來自世界各地冬奧運動員的到來。為了幫助運動員們更快地熟悉冬奧村環境,享受更好的入駐體驗,人工智能軟件公司商湯科技SenseTime在科學技術部科技冬奧的專項支持下,負責了“基于3D的實時精準定位技術、虛擬與現實結合的3D高精度識別的智慧AR導航系統研究”課題,基于SenseMARS火星混合現實平臺,經過幾個月的研發攻關,短時間內實現了大尺度場景下厘米級的三維地圖構建和部署,并解決了動態復雜場景下實現精準定位跟蹤等難題,為張家口冬奧村創新打造智慧AR導航應用。AI+AR技術的融合創新,充分綻放“科技冬奧”的無窮魅力,展現冬奧村的人文情懷。

(張家口冬奧村智慧AR導航)

在冬奧村開村后,該應用可為數千名入駐張家口冬奧村的運動員和工作人員,提供便捷的AR導航導覽服務。用戶通過手機進入專屬APP,打開攝像頭識別周邊實景,即可輕松鎖定自己的位置,輸入目的地后,跟隨地面上的AR虛擬貼地箭頭,便可直達接待中心、健身中心、居住區等地點。相較于傳統導航方式,AR導航將路線標識與真實場景融為一體,擁有更加沉浸、直觀的視覺體驗,大大節省了時間,幫助運動員們迅速對冬奧村周邊環境了如指掌,更專注于投入到賽事準備工作當中。在這個虛實融合的數字世界當中,還有在空中遨游躍動的北京冬奧會吉祥物冰墩墩,加之隨處可見的各冬奧場所介紹大屏,能夠給各國運動員帶來更好的代入感和歸屬感。

近年來,移動AR技術盡管發展迅猛,但實現廣泛的規模化落地仍需突破諸多難題。在此次課題中,實現AR智慧導航主要面臨兩個挑戰,一是張家口冬奧村及周邊區域覆蓋面積大,超過30萬平方米,要在冬奧村從建設完畢到賽前封閉的極短時間內,完成如此大尺度場景的高精度三維地圖構建,對數據采集和算法效率都提出了很高要求;二是冬奧村內建筑群風格統一,各個地方存在大面積相似的紋理,并且常有冰雪覆蓋道路、植被和建筑,造成場景的視覺變化,要在這種環境下基于圖像精準識別自身位置,存在很大挑戰。

憑借在計算機視覺領域長期的技術深耕以及豐富的場景經驗,以及SenseMARS火星混合現實平臺強大能力,商湯創新地通過GPS與視覺融合的數據關聯方法和參數分塊優化方法,在短時間內快速支持了張家口冬奧村厘米級的高精度三維地圖構建。商湯還研發了云端結合架構,實現了云端全局定位和終端局部跟蹤的協同。其中,全局定位綜合利用視覺、藍牙、GPS等信號解決相似場景的問題,并針對冰雪場景訓練了不同天氣條件下魯棒的圖像特征;移動終端借助云端地圖信息和自身傳感器,在web低算力的條件下實現了穩定跟蹤,最終在如此復雜場景下,實現了實時、精準的6自由度空間定位。同時,商湯還建立了高效的虛擬內容編輯和創作工具鏈,通過可視化的編輯工具,即可快速創建各種AR內容。

得益于多項技術創新,在實際使用過程中,這套智慧AR導航應用可在30萬平方米區域內任意地點,都能始終保持定位精準、無延遲感的沉浸式虛實融合效果,且不會受到建筑、冰雪等復雜環境的影響。不僅如此,該應用無需獨立APP,僅借助web瀏覽器即可輕松體驗,同時廣泛支持搭載iOS、Android及鴻蒙操作系統的移動終端,可以在不同體育場所、賽事中推廣及應用。

(基于商湯SenseMARS火星混合現實平臺實現張家口冬奧村厘米級高精度三維地圖重建)

冬奧村作為冬奧會的配套設施,賽事期間將是各國代表團的主要居住地,不僅將承擔住宿、餐飲、娛樂、休閑等方面的服務工作,同時也是舉行國際交流和聯歡活動的場所。商湯此次通過AI和AR技術的融合應用,不僅助力提高了奧運村的數字化、智能化水平,也讓運動員們在緊張激烈的賽事期間,體驗到“科技冬奧”理念下,科技創新所展現的趣味性和輕松氛圍。

商湯科技也將積極響應“科技冬奧”倡導的核心理念,將這樣的技術體驗帶到人們日常生活、消費購物、文化旅游等更多場景當中。此前,商湯SenseMARS火星混合現實平臺已經成功在商超、景點、博物館、機場等場所規模化落地,并帶來多重的模式創新。例如,商湯通過AR導航、AR營銷等玩法組合,為廣州悅匯城、成都IFS國際金融中心等線下零售業態打造全新的流量入口和商業閉環;在長沙黃花機場,商湯用AR導航打造虛擬地標和指示路牌,創新了機場的客戶服務模式。

以人工智能技術實現物理世界和數字世界的連接,為人們帶來更好的虛實結合生活體驗,是商湯科技長期以來的愿景之一。商湯也將以此次賦能“科技冬奧”為契機,進一步促進AI技術與文化、旅游的相互融合,創造新一代沉浸式體驗型文化和旅游消費內容,用空間計算、場景感知、人機交互等更加全面的AI+AR基礎能力,構建多元化的虛實融合的應用體驗。