帶消極動量的自適應步長隨機方差縮減方法
中國科學院大學學報(中英文)
頁數(shù)： 12 2024-09-15
摘要： 近年來，隨機方差縮減類方法在解決大規(guī)模機器學習問題中取得很大成功，自適應步長技術的引入減輕了該類方法的調參負擔。針對自適應步長的方差縮減算法SVRG-BB,指出其算法設計帶來了“進展-自適應步長有效性”的權衡問題。因此引入Katyusha動量以更好地處理該權衡問題，并且在強凸假設下證明由此得到的SVRG-BB-Katyusha算法的線性收斂性質。之后基于“貪婪”思想，提出稀疏地... （共12頁）
APP 