衍射神經(jīng)網(wǎng)絡中修正線性單元非線性函數(shù)的理論研究

摘要： 本文基于衍射神經(jīng)網(wǎng)絡平臺，探究經(jīng)典修正線性單元(rectified linear unit, ReLU)及其衍生激活函數(shù)對光學神經(jīng)網(wǎng)絡(ONNs)推理能力的影響，闡明非線性函數(shù)與衍射神經(jīng)網(wǎng)絡結合方式與其學習能力的關聯(lián)。結果顯示，衍射網(wǎng)絡訓練適應性強，但不當?shù)姆蔷€性函數(shù)可能降低其性能。例如，在5層網(wǎng)絡中，在每層后添加RTReLU(rectified translational l... （共19頁）