計算機視覺是人工智能重要的技術領域之一。每年，國內外都會舉辦眾多的計算機視覺學術或者行業大會，其中，計算機視覺與模式識別國際會議（IEEE CVPR）、國際計算機視覺大會（ICCV）以及歐洲計算機視覺國際會議（ECCV）是最為知名的三大頂會。

在全球專家學者交流研討的同時，這些頂會還會舉辦系列挑戰賽，全球眾多頂尖團隊積極報名參賽，在計算機視覺的各個細分領域同臺“論劍”，一爭高下。

6月下旬舉辦的CVPR大會也不例外。在本次大會組織的各項計算機視覺挑戰賽中，聯想研究院團隊共斬獲6項冠軍，包括：

• 第一人稱視角與外界視角融合的4D視覺挑戰賽（Ego4D and EgoExo4D Challenge）社交互動（Looking At Me）賽道冠軍；
• 第一人稱視角與外界視角融合的4D視覺挑戰賽（Ego4D and EgoExo4D Challenge）手部姿態估計（Hand Pose）賽道冠軍；
• 自動駕駛ARGOVERSE挑戰賽3D物體檢測（3D Object Detection Challenge）賽道冠軍；
• 自動駕駛ARGOVERSE挑戰賽3D多目標跟蹤（3D Multi-Object Tracking Challenge）賽道冠軍；
• 自主系統挑戰賽（Autonomous Grand Challenge, AGC）具身多模態三維視覺定位(Multi-View 3D Visual Grounding)賽道冠軍，并拿下最具創新獎；
• 人工智能城市挑戰賽（AI City Challenge）多相機多行人跟蹤（Multi-Camera Multi-People Tracking）賽道冠軍。
•  

其中，研究院PC創新與生態系統實驗室團隊收獲前四項冠軍，而人工智能實驗室和清華大學、以及與上海交通大學的兩個聯合團隊分別拿下自主系統挑戰賽具身多模態三維視覺定位冠軍和最具創新獎，以及AI CITY挑戰賽多相機多行人跟蹤賽道冠軍。

第一人稱視角與外界視角融合的4D視覺挑戰賽（Ego4D and EgoExo4D Challenge）

Ego4D數據集是一個大規模的以自我為中心的視頻數據集和基準套件。它提供3670小時的日常生活活動視頻，涵蓋數百種場景(家庭，戶外，工作場所，休閑等)，由來自全球74個地點和9個不同國家的931名獨特的相機佩戴者（camera wearer）拍攝。

 

Ego-Exo4D數據集則是一個多樣化的、大規模的多模式多視角視頻數據集和基準套件。Ego-Exo4D同時捕捉以自我為中心和以外部為中心的，大眾熟悉的人類活動視頻（例如，體育、音樂、舞蹈、自行車修理等）。

 

基于這兩個數據集，CVPR2024提出了一系列新的基準挑戰，這些挑戰圍繞著理解第一人稱視覺體驗展開。聯想研究院PC創新與生態系統實驗室團隊收獲了其中的社交互動（Looking At Me）賽道和手部姿態估計（Hand Pose）賽道兩項冠軍。

社交互動（Looking At Me）挑戰

在社交互動（Looking At Me）賽道，團隊以80.91 mAP（mean Average Precision，平均精度均值）的成績獲得了挑戰賽第一名。

 

社交互動是人類行為理解的關鍵。通過獲取以自我為中心的視頻數據,我們可以獲得一種獨特的視角,捕捉到每個參與者的言語交流和非語言線索。這種技術為研究社交互動提供了寶貴的信息源,有助于深入理解人類的社交行為。未來，這種技術有望推動虛擬助理和社交機器人的發展,使其能夠更好地融入人類的社交環境，提供更智能、更貼心的交互體驗。通過分析社交互動的細微信號，我們可以培養出更富同理心和社交智慧的人工智能系統，使其能夠更自然地與人類進行溝通互動。

比如該技術可以用來檢測家庭成員情緒狀態，并為其提供建議或播放音樂等緩解情緒，具備情境理解與響應能力。再比如，當檢測到廚房的煙霧報警器響起時，它不僅能即時通知家庭成員，還能自動聯系緊急服務，并指導家中的兒童安全撤離。

在該挑戰中，參與者獲得了一段視頻，其中包含了已被定位和識別的社交伙伴的人臉，并對每個可見的人臉進行分類，判斷它們是否都在看向相機佩戴者。由于場景中人與攝像機之間的距離，以及人體的運動，導致了人臉圖像的模糊，使得這項任務具有很高的挑戰性。

面對這項挑戰，團隊提出了由一個InterVL圖像編碼器和Bi-LSTM網絡組成的InternLSTM解決方案。InternVL負責提取空間特征，Bi-LSTM提取時間特征。為了解決任務的復雜性，我們引入了平滑濾波器，以消除輸出的噪聲或尖峰。