融合互信息和層級Transformer網(wǎng)絡(luò)的多模態(tài)情感分析

摘要： 針對多種輸入模態(tài)(音頻、文本、視覺)之間的異質(zhì)性差異，采用多模態(tài)序列數(shù)據(jù)固有的非對齊特征很難有效地進行多模態(tài)融合并學(xué)習(xí)出模態(tài)間相關(guān)性。為了解決上述問題，提出了一種融合互信息(MI)和層級Transformer網(wǎng)絡(luò)(HTN)的模態(tài)增強方法來處理多模態(tài)情感分析中非對齊的多模態(tài)序列數(shù)據(jù)。為了彌合不同模態(tài)間的異質(zhì)性差異，擬采用最大化不同模態(tài)之間的互信息來構(gòu)建一個保持模態(tài)一致性的單模態(tài)特... （共8頁）