北京時間11月10日，中國科學院深圳先進技術研究院集成所光電工程技術中心李劍平博士團隊在海洋數據機器學習算法研究中取得新成果，提出了一種基于對比學習的浮游生物圖像識別檢索框架，在解決實際海洋數據中的不均衡分布、數據漂移、開集識別問題中展現出了優異性能。
【資料圖】
論文以Contrastive Learning-based Image Retrieval for Automatic Recognition of in situ Marine Plankton Images為題，發表在國際海洋考察理事會海洋科學期刊ICES Journal of Marine Science上。中國科學院大學碩士楊振宇為第一作者，李劍平博士為論文通信作者，深圳先進院為第一單位。來自廈門大學、哈爾濱工業大學（深圳）的數據科學家參與本課題的合作研究。
文章上線截圖
原文鏈接：https://doi.org/10.1093/icesjms/fsac198
經過了30多年來的發展，海洋水下成像儀器為海洋浮游生物原位觀測帶來了海量圖像數據，刺激了計算機圖像自動識別技術的長足發展。然而，訓練機器對來自實際中復雜海洋環境下的圖像數據進行準確識別始終是一項極具挑戰的任務。現有浮游生物圖像機器學習分類算法雖然在某些閉合數據集上取得了良好表現，但是當應用于來自不同時空的實際數據時，往往會出現性能不穩定甚至驟降的問題，不能滿足海洋觀測的實時準確要求。
通過深入調研，李劍平團隊發現現有算法幾乎全部將浮游生物識別問題處理成了一個對“N+1類”目標圖像的分類問題（即N類感興趣目標和1類所有不感興趣目標）。然而，與其他領域中圖像識別任務不同的是，在真實海洋環境中采集的數據必將面臨成像質量惡化、數據分布不均、數據分布漂移和分布外樣本出現等問題的挑戰。因此，在閉合數據集上訓練優化的機器學習算法在應用時，由于待識別數據集不滿足與訓練數據集的獨立同分布條件，導致識別性能極易下降，只能通過費時費力的數據重新標注和模型重新訓練來恢復其性能，顯然這樣就造成了機器學習算法的高昂的部署成本，難以在實際中應用。
李劍平團隊提出的浮游生物原位圖像檢索識別框架IsPlanktonIR示意
針對這一瓶頸，李劍平團隊設計并訓練了一種基于對比學習的浮游生物圖像檢索框架IsPlanktonIR，以圖像相似度比對的方式，通過圖像檢索靈活地解決浮游生物的原位圖像識別問題，實現浮游生物圖像的自動識別。
在該框架里，研究團隊首先選取SEResNext作為浮游生物圖像特征提取器，利用有監督的對比學習對其訓練，使其獲得較強的特征提取能力。識別圖像時，通過比較待識別圖像和一個檢索庫中圖像特征的相似性，實現對其具體類別判定或對分布外樣本的發現與拒識。
此外，IsPlanktonIR框架還提供了人機交互接口，以供使用者方便地檢查校驗識別結果，擴充檢索庫，不斷完善增強識別性能。
訓練浮游生物圖像檢索框架中特征提取器的代表圖像數據
為了實現該識別框架的算法訓練和效果驗證，團隊利用獨立研發的海洋浮游生物原位光學成像儀在深圳大亞灣和海南昌江海域采集的圖像構建了一個實驗數據集。利用該數據集，團隊使用部分類別圖像對模型進行了訓練，構造了多種不同組合的檢測數據集，以檢驗該框架在真實海洋環境中應對必將發生的數據不均衡、數據分布漂移、分布外樣本出現情況下的性能表現。
實驗結果表明，IsPlanktonIR算法框架在應對同時存在上述問題的測試集上均表現出了優異的性能。尤其是當測試中遇到新類別圖像出現時，只需向檢索庫中添加部分新的人工標注樣本，即可使框架實時擁有對新類別圖像的正確識別能力。
此外，團隊還對該框架與經典的浮游生物圖像分類算法和最新的異常值檢測算法的性能在相同的測試集上進行了比較。結果表明，IsPlanktonIR不僅在二者不可處理的開集識別問題上取得了很好的效果，在這兩類算法擅長處理的閉集分類問題上也取得了可比擬、甚至部分超越的性能指標。IsPlanktonIR的識別結果穩健性也大大增強，展示出了在實際海洋觀測應用中的可靠性和靈活性。
在不同條件下的測試實驗中IsPlanktonIR識別框架和對照算法的性能表現對比
此外，為了提高框架的圖像檢索效率，減小存儲和計算開銷，李劍平團隊還提出了一種壓縮精簡的算法，將浮游生物圖像檢索庫進一步稀疏化，在幾乎不降低識別準確率的前提下將檢索庫的大小縮小了一半，保障了基于圖像檢索的圖像識別框架在大規模數據下的檢索速度，以滿足海洋觀測的高實時性要求。
IsPlanktonIR框架的發展為真實海水環境下的浮游生物原位長期觀測提供了一套更加有效、穩健、靈活、便捷的算法方案，更加貼近海洋觀測的實際需求，將有助于促進人工智能在海洋生物觀測識別任務的落地應用。
該論文研究得到了中國科學院國際合作重點項目和深圳市科技創新計劃基礎研究重點項目的支持。
