北理工團隊在機器視覺分類中噪聲和長尾數據處理方面取得新進展
發布日期：2022-07-28 供稿：光電學院
編輯：盛筠 審核：董立泉 閱讀次數：
近日，北京理工大學光電學院許廷發科研團隊在機器視覺分類中噪聲和長尾數據處理方面取得新進展，相關研究成果以“Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data”為題被人工智能領域的國際頂級會議AAAI-2022 (CCF A)發表，AAAI是人工智能領域具有高影響力的國際頂級學術會議之一，被計算機協會歸類為A類會議，主要發表和報道計算智能、人工智能、數據科學和深度學習等領域的最新研究進展和技術。該工作第一作者為北京理工大學博士后江慎旺，通訊作者為北京理工大學李佳男特別副研究員和許廷發教授。
隨著人工智能的發展，如何在噪聲和長尾數據中訓練模型在機器學習中引起了很多關注。然而，當前大多數方法都在理想化的狀態下研究如何單獨處理噪聲或者長尾數據的問題，針對這一科學問題，北京理工大學許廷發教授團隊率先提出損失值曲線和元學習的方法同時解決噪聲和長尾數據，通過大量的計算和實驗觀察發現，雖然從單個的權重無法區分噪聲和尾部樣本，但是在樣本的整個訓練過程生成的損失值曲線能夠提供充足的信息區分這兩種樣本，如圖1。
圖1 損失值曲線
在此基礎上，科研團隊提出了損失值曲線的噪聲和長尾數據處理模型。如圖2，基于損失值曲線的噪聲和長尾數據處理模型可以被分為兩個階段： Probing Stage和Allocating Stage。在Probing Stage先訓練一遍模型，得到每個樣本的損失值曲線；在Allocating Stage將損失值曲線作為樣本的一項特征輸入至權重生成模型并為每個樣本生成權重，采用元學習方法進行了優化。
圖2 基于損失值曲線的噪聲和長尾數據處理模型
圖3為生成的權重曲線的可視化分析。在權重曲線中，干凈樣本和尾部被賦予較高的權重，而噪聲樣本和頭部樣本被賦予較低的權重。這種重賦權策略可以有效的抑制噪聲數據的影響并提升模型對尾部數據的學習能力。
圖3 各類樣本生成權重可視化分析
該項研究為機器視覺領域的噪聲和長尾數據處理提供了新的思路，為進一步實用化奠定了理論和技術基礎。
論文詳情：Jiang, Shenwang, et al. "Delving into Sample Loss Curve to Embrace Noisy and Imbalanced Data." Proceedings of the AAAI Conference on Artificial Intelligence. Vol. 36. No. 6. 2022.
論文鏈接：https://ojs.aaai.org/index.php/AAAI/article/view/20661
附作者簡介：
江慎旺，北京理工大學光電學院博士后。2014年、2020年分別獲得北京理工大學學士、博士學位，研究方向為機器學習和計算機視覺。在國際頂級會議AAAI、IEEE等期刊發表學術論文16篇，谷歌學術總引用量98次，第一作者4篇，申請中國發明專利1項。曾獲得2021 年 ICCV 第二屆反無人機國際挑戰賽（The 2nd Anti-UAV Workshop & Challenge）冠軍及該 Workshop 的最佳論文，大學生數學競賽二等獎（北京市）、大學生物理競賽二等獎（北京市）等榮譽。
李佳男，博士，北京理工大學光電學院預聘助理教授（特別副研究員），新加坡國立大學博士后。研究方向為光電成像探測與識別、計算機視覺、嵌入式視頻處理等。近五年發表高水平學術論文30篇，其中第一作者論文包括 IEEE TPAMI、TVCG、CVPR、ICLR等頂級期刊會議9篇，ESI高被引論文1篇。論文單篇最高被引600余次，谷歌學術總引用2400余次。主持國自然青年科學基金項目、博士后科學基金一等面上項目和項3項；參與國家自然科學基金重大科研儀器研制項目等5項。入選北京市科協青年人才托舉工程，曾獲得中國圖象圖形學學會優秀博士學位論文、王大珩高校學生光學獎等榮譽，獲得ImageNet大規模視覺識別挑戰賽（ILSVRC-2017）目標定位任務冠軍。指導團隊獲得ICCV 2021“無人機跟蹤”挑戰賽冠軍及最佳論文獎。
許廷發，博士，教授，博導，國家一級重點學科“光學工程”學科責任教授，光電成像技術與系統教育部重點實驗室副主任。北京理工大學重慶創新中心智能化和大數據技術實驗室主任。近年來帶領其科研團隊圍繞光電成像探測與識別、計算成像和醫學光電成像等方向不斷深化研究。主持承擔國家自然科學基金委重大科研儀器研制項目等40余項。在國際、國內等系列期刊發表學術論文135篇，其中被SCI/EI收錄90余篇。以第一發明人申請國家發明專利45項，已授權和公示15項。指導研究生獲得中國圖象圖形學學會優秀博士學位論文，二人次獲得王大珩高校學生光學獎，二人次獲得全國光學與光學工程博士生學術聯賽全國百強等榮譽稱號。
分享到：