幾大深度網(wǎng)絡(luò)學(xué)習(xí)總結(jié)
vgg：
層數(shù)較深的卷積網(wǎng)絡(luò)
多個(gè)3*3小卷積代替大卷積，減少參數(shù)量
卷積池化組，block塊，更簡(jiǎn)潔
inception：
多尺度，對(duì)前一層的輸出，進(jìn)行1*1卷積，3*3卷積，5*5卷積，7*7卷積等多尺度融合，充分學(xué)習(xí)特征
引入1*1卷積，進(jìn)行通道數(shù)降維，減少參數(shù)量
引入1*3卷積和3*1卷積代替3*3卷積，減少參數(shù)量
引入BN層
引入殘差
輔助決策分支，從模型中間引出輸出層，加強(qiáng)反向傳播
resnet：
殘差模塊，輸出時(shí)加上最開始時(shí)的輸入，再進(jìn)行relu。out=x+f(x)，簡(jiǎn)單化理解下反向傳播，dout/dx=1+f'(x)，通過(guò)+1的操作可以防止鏈?zhǔn)椒▌t時(shí)梯度消失。
可以使神經(jīng)網(wǎng)絡(luò)很深，突破之前20幾層的界限
densenet:
學(xué)習(xí)resnet，denseblock模塊，每個(gè)bottleneck塊的輸入通道concatenate前面塊的bottleneck塊的輸出，使得后面層也能獲得前面層的特征圖，特征更充分。消耗顯存應(yīng)該會(huì)更多
bottleneck塊BN，relu，conv，pre-activation，效果比較好。這個(gè)原因是不是因?yàn)檩斎胗衅渌卣鲌D，先BN會(huì)好點(diǎn)？
transition模塊，1*1降維，pooling減小特征圖尺寸
可以使網(wǎng)絡(luò)很深
標(biāo)簽：
