編碼器延續了傳統自動編碼器的結構，并利用這一結構來學習數據生成分布，這讓我們可以從潛在空間中隨機抽取樣本。然后，可以使用*網絡對這些隨機樣本進行解碼，以生成*的圖像，這些圖像與網絡所訓練的圖像具有相似的特征。

 

　　收縮編碼器與前兩個自動編碼器的運行過程基本相同，但是在收縮自動編碼器中，我們不改變結構，只是在丟失函數中添加一個正則化器。這可以被看作是嶺回歸的一種神經形式。

 

　　與其字義相反的是，稀疏自動編碼器具有比輸入或輸出維度更大的潛在維度。然而，每次網絡運行時，只有很小一部分神經元會觸發，這意味著網絡本質上是“稀疏”的。稀疏自動編碼器也是通過一種規則化的形式來減少網絡過度擬合的傾向，這一點與去噪自動編碼器相似。

 

　　有幾種其它類型的自動編碼器。其中常用的是去噪自動編碼器，本教程稍后會和Keras一起進行分析。這些自動編碼器在訓練前給數據添加一些白噪聲，但在訓練時會將誤差與原始圖像進行比較。這就使得網絡不會過度擬合圖像中出現的任意噪聲。稍后，將使用它來清除文檔掃描圖像中的折痕和暗黑區域。

 

　　編碼器函數用?表示，該函數將原始數據X映射到潛在空間F中（潛在空間F位于瓶頸處）。*函數用ψ表示，該函數將瓶頸處的潛在空間F映射到輸出函數。此處的輸出函數與輸入函數相同。因此，我們基本上是在一些概括的非線性壓縮之后重建原始圖像。

 

　　自動編碼器與主成分分析（PCA）密切相關。事實上，如果自動編碼器使用的激活函數在每一層中都是線性的，那么瓶頸處存在的潛在變量（網絡中小的層，即代碼）將直接對應(PCA/主成分分析)的主要組件。通常，自動編碼器中使用的激活函數是非線性的，典型的激活函數是ReLU（整流線性函數）和sigmoid/S函數。