WebVPN入口        WebVPN入口2        數字校園門戶        圖書館        Engilsh   
 首頁  學校概況  機構設置  教育教學  科學研究  招生就業  師資隊伍  黨建工作  交流合作  校園生活  校長信箱 

學術文化

山东建筑大学作为通讯作者单位荣获CCF A类会议SIGIR 2021最佳学生论文奖

7月14日,第44届国际计算机学会信息检索大会(The 44th InternationalACM SIGIRConference on Research and Development in Information Retrieval,SIGIR2021)正式发布了最佳论文、最佳学生论文、时间检验奖、最佳短论文等多项大奖。我校计算机科学与技术学院刘萌教授(第二作者和通讯作者)与山东大学计算机科学与技术学院聂礼强教授联合指导研究生曲磊钢提交的论文(长文)“Dynamic Modality Interaction Modeling for Image-Text Retrieval”,荣获本次大会唯一的最佳学生论文奖,取得历史性突破。

SIGIR是人工智能领域智能信息检索方向最权威的国际会议,本次SIGIR 大会共收到了720篇长论文投稿,526篇短论文投稿,其中长论文接收151篇(接收率为21%),短论文接收145篇(接收率为27.6%)。

獲獎論文介紹:圖像-文本雙向檢索是信息檢索和多媒體計算領域的基礎性和關鍵性任務,有效地解決該問題不僅能打破視覺和語言之間的語義鴻溝和分布壁壘,還能促進許多上層應用的發展,如:視覺問答和圖像字幕生成,故具有廣泛而深刻的研究意義。當前,圖文檢索的發展主要面臨兩大挑戰:模態內關系推理和模態間語義對齊。

針對這兩個挑戰,我們提出了一種基于動態模態交互建模的圖文檢索方法,該方法能夠自適應地選擇依賴于特定數據的模態交互路徑。具體地,我們首先提出了四種不同類型的交互模塊:修正恒等模塊、模態內推理模塊、整體-局部引導模塊、模態間精煉模塊,爲模型提供基礎的模態內關系推理和模態間語義對齊的能力。

爲充分發揮上述模塊間的協作能力,我們進一步提出一種稠密連接策略對這些模塊在寬度和深度兩個維度進行連接,構成一個完整的路徑空間,用以自適應地生成依賴于數據的交互路徑。此外,爲了提升路徑學習效率,我們提出了一種語義一致性正則化方法。在圖文檢索兩個公開數據集Flickr30K和MS-COCO上的大量實驗表明,本方法的檢索性能顯著優于現有方法;對模態交互路徑的可視化實驗進一步表明本方法學習路徑的合理性。

審稿:王少華

編審:何文玲

終審:張之穩

官方微信
官方微博
地址:济南市历城区凤鸣路山东建筑大学 邮编:250101 鲁 ICP备 06022497号-1