對(duì)于0/1分類問(wèn)題，因?yàn)橹挥兄挥袃煞N結(jié)果，所以這通過(guò)一個(gè)叫sigmoid函數(shù)來(lái)對(duì)原本的函數(shù)進(jìn)行特征變換讓其能夠表現(xiàn)出二元分類的明顯特征。

過(guò)擬合問(wèn)題：

對(duì)訓(xùn)練數(shù)據(jù)過(guò)于精確的預(yù)測(cè)從而失去泛用性便是過(guò)擬合問(wèn)題。

上圖便是欠擬合和過(guò)擬合所導(dǎo)致的問(wèn)題，欠擬合導(dǎo)致訓(xùn)練出來(lái)的模型并不理想，過(guò)擬合則是過(guò)于理想以至于泛用性大幅下降。

解決過(guò)擬合問(wèn)題：

方法1：獲取更多的訓(xùn)練數(shù)據(jù)。

方法2：減少特征，選取一些重要的特征丟棄一些不必要的特征從而降低過(guò)擬合的問(wèn)題。

方法三：正則化，正則化就是將一些特征的參數(shù)盡可能的變小，讓其對(duì)整個(gè)訓(xùn)練網(wǎng)絡(luò)不用產(chǎn)生過(guò)大的影響。

正則化：

正則化就是對(duì)某個(gè)特征進(jìn)行懲罰控制，以免其造成整體模型的過(guò)擬合現(xiàn)象。

通過(guò)對(duì)成本函數(shù)中加入對(duì)某些特征的懲罰部分，即正則化項(xiàng)，從而達(dá)到對(duì)某些特征的大小限制從而完成對(duì)整體的過(guò)擬合的修正。

正則化應(yīng)用線性回歸：

在線性成本函數(shù)中添加正則化項(xiàng)。

在分類成本函數(shù)終會(huì)添加正則化項(xiàng)。

神經(jīng)網(wǎng)絡(luò)經(jīng)典特例：

通過(guò)不斷的提取圖片的特征讓其進(jìn)行組合聚集，最后輸出圖片是某某人的概率。

神經(jīng)網(wǎng)絡(luò)中的網(wǎng)絡(luò)層：

如何選擇輸出層的激活函數(shù)：

二分類問(wèn)題就選擇sigmoid函數(shù)，回歸問(wèn)題就選擇線性激活函數(shù)和ReLU函數(shù)。

對(duì)于隱藏層的激活函數(shù)：

主要使用ReLU函數(shù)和sigmoid函數(shù)，其中絕大多數(shù)使用ReLU函數(shù)，因?yàn)槠湓谏窠?jīng)網(wǎng)絡(luò)中訓(xùn)練的速度快一些。

為什么模型需要激活函數(shù)

多分類問(wèn)題

使用softmax激活函數(shù)進(jìn)行解決。

在網(wǎng)絡(luò)模型中應(yīng)用softmax

softmax改進(jìn)：