網(wǎng)站制作ppt模板,jsp網(wǎng)站開發(fā)目的及意義,wordpress識圖,ps做簡潔大氣網(wǎng)站礎(chǔ)后#xff0c;可以說#xff0c;在理解上對本周的內(nèi)容不會存在什么難度。當然#xff0c;我也會對一些新出現(xiàn)的概念補充一些基礎(chǔ)內(nèi)容來幫助理解#xff0c;在有之前基礎(chǔ)的情況下#xff0c;按部就班即可對本周內(nèi)容有較好的掌握。在學(xué)習(xí)完一些緩解過擬合的方法后#xf…礎(chǔ)后可以說在理解上對本周的內(nèi)容不會存在什么難度。當然我也會對一些新出現(xiàn)的概念補充一些基礎(chǔ)內(nèi)容來幫助理解在有之前基礎(chǔ)的情況下按部就班即可對本周內(nèi)容有較好的掌握。在學(xué)習(xí)完一些緩解過擬合的方法后我們便可以較好的訓(xùn)練神經(jīng)網(wǎng)絡(luò)而不至于出現(xiàn)因為模型復(fù)雜度上升反而導(dǎo)致模型性能下降的情況。這樣神經(jīng)網(wǎng)絡(luò)就可以較好的擬合數(shù)據(jù)。而這一部分的內(nèi)容就是在這個基礎(chǔ)上如何加快神經(jīng)網(wǎng)絡(luò)的訓(xùn)練實現(xiàn)更快更穩(wěn)定地收斂。1.歸一化還是先把概念擺出來:歸一化Normalization是指將數(shù)據(jù)按一定的比例或標準進行調(diào)整使得數(shù)據(jù)的數(shù)值范圍或分布符合某種特定的要求。通常歸一化的目標是將數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的尺度便于不同數(shù)據(jù)之間的比較或用于某些算法中。要提前說明的是下面的筆記內(nèi)容介紹的只是歸一化方法中最普適的一種叫Z-Score標準化標準差標準化也可以直接叫標準化。1.1 標準化的步驟1計算樣本的均值對每一維特征計算其均值。我們用一組數(shù)據(jù)在每一步進行相應(yīng)處理來演示這個完整的過程原始樣本樣本數(shù)2計算每個樣本與均值的差以及平方差樣本10 -2 412 0 09 -3 915 3 914 2 43計算方差與標準差總體方差分母使用總體標準差4執(zhí)行標準化變換每個樣本的標準化結(jié)果逐項計算10 -2 -0.87705812 0 0.0000009 -3 -1.31558715 3 1.31558714 2 0.877058因此標準化后的結(jié)果為這樣我們就對數(shù)據(jù)完成了一次標準化那進行這些步驟的作用又是什么呢1.2標準化的作用我們來看一下各個步驟后樣本數(shù)據(jù)的變化myplot213213這是未經(jīng)處理的原始數(shù)據(jù)現(xiàn)在我們按照標準化公式一步步進行將各數(shù)據(jù)減去均值這一步也叫做中心化此時數(shù)據(jù)分布如下myplot3213123可以發(fā)現(xiàn)中心化后數(shù)據(jù)的均值變?yōu)?0現(xiàn)在我們再把中心化的數(shù)據(jù)除以標準差此時數(shù)據(jù)分布如下44經(jīng)過這一步標準化后數(shù)據(jù)的標準差為 1也就是說標準化后數(shù)據(jù)的均值變?yōu)?標準差變?yōu)?這是它的作用可這樣的變換又是如何幫助訓(xùn)練的呢我們繼續(xù)下一節(jié)。1.3 標準化如何幫助訓(xùn)練1消除量綱差距的同時保持特征信息在現(xiàn)實數(shù)據(jù)中不同特征往往有不同的單位或數(shù)量級。例如在一個房價預(yù)測模型中房屋面積以“平方米”計數(shù)值可能在幾十到幾百房間數(shù)量只在“1~5”之間變化。如果不做標準化面積特征的值遠大于房間數(shù)模型在更新參數(shù)時會更偏向面積而忽視房間數(shù)量的影響。對此標準化這樣解決這個問題中心化將每個特征的均值移動到 0使數(shù)據(jù)以 0 為中心正負對稱方便神經(jīng)網(wǎng)絡(luò)處理。除以標準差標準差就像一個“伸縮尺”根據(jù)特征自身的波動范圍對數(shù)據(jù)進行拉伸或壓縮波動大的特征被壓縮幅度大波動小的特征被壓縮幅度小從而統(tǒng)一特征尺度。要說明的是除以標準差精妙的地方在于統(tǒng)一尺度的同時保留了同一特征內(nèi)的差距。舉個例子對于兩個人的年齡一個人20歲一個人10歲。壓縮后前一個人變成了2歲后一個人變成了1歲。但是他們之間的差別關(guān)系沒有變化前者仍比后者大我們只是把跨度從10歲縮小從了1歲來減少波動性。模型依舊可以區(qū)分兩個樣本的差別。我們再用房屋的實例說明來整體演示一下設(shè)房屋面積原始值[50, 120, 200, 300, 400] 房間數(shù)原始值[1, 2, 3, 4, 5]中心化后面積[?167, ?97, ?17, 83, 183]房間數(shù)[?2, ?1, 0, 1, 2]除以標準差面積 σ≈145.44房間數(shù) σ≈1.414后 面積標準化[?1.15, ?0.67, ?0.12, 0.57, 1.26] 房間數(shù)標準化[?1.41, ?0.71, 0, 0.71, 1.41]這樣通過標準化面積和房間數(shù)都被縮放到大致相似的范圍梯度更新時影響力平衡同時保持了各房屋之間的相對差異?？梢孕蜗蟮乩斫鉃槊總€特征都被配上了“統(tǒng)一的尺子”讓它們在同一尺度下公平競爭既消除了量綱差距又保持原始信息。2平衡含正負值的數(shù)據(jù)集標準化后的數(shù)據(jù)以 0 為中心分布更對稱特別適合使用如 tanh、ReLU 等激活函數(shù)的神經(jīng)網(wǎng)絡(luò)。我們用tanh舉例myplot2如果輸入特征全是正數(shù)tanh 的輸出始終偏向 1 區(qū)域梯度幾乎為 0學(xué)習(xí)停滯。而經(jīng)過標準化后輸入既有正又有負輸出能覆蓋整個區(qū)間梯度保持活躍網(wǎng)絡(luò)學(xué)習(xí)更充分。這便是關(guān)于歸一化的內(nèi)容下一篇便是本周理論部分的最后一篇是關(guān)于網(wǎng)絡(luò)運行中一些常見的梯度現(xiàn)象和其應(yīng)對方法。