來(lái)自伯克利大學(xué)和麻省理工學(xué)院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前給出了深度學(xué)習(xí)在另一個(gè)特定領(lǐng)域的研究進(jìn)展，開(kāi)發(fā)了一套可以通過(guò)深度學(xué)習(xí)自動(dòng)學(xué)會(huì)幫黑白圖片上色的技術(shù)。從給出的示例來(lái)看，這項(xiàng)技術(shù)的準(zhǔn)確性還是比較高的。說(shuō)到
來(lái)自伯克利大學(xué)和麻省理工學(xué)院的三名研究者Richard Zhang、Phillip Isola、Alexei A. Efros日前給出了深度學(xué)習(xí)在另一個(gè)特定領(lǐng)域的研究進(jìn)展，開(kāi)發(fā)了一套可以通過(guò)深度學(xué)習(xí)自動(dòng)學(xué)會(huì)幫黑白圖片上色的技術(shù)。從給出的示例來(lái)看，這項(xiàng)技術(shù)的準(zhǔn)確性還是比較高的。說(shuō)到這些技術(shù)的應(yīng)用，讓許多承載著回憶的老照片煥發(fā)新生是它能做的極好的貢獻(xiàn)之一。
值得注意的是，這個(gè)算法是在算法應(yīng)用平臺(tái)Algorithmia上的，
石家莊網(wǎng)絡(luò)優(yōu)化獲悉此平臺(tái)，它的主要作用就是讓算法的開(kāi)發(fā)者將他們開(kāi)發(fā)出來(lái)的算法托管在平臺(tái)上，而APP的開(kāi)發(fā)者等需要算法的人就可以很方便的通過(guò)幾條簡(jiǎn)單的指令就調(diào)用上面存儲(chǔ)著的算法，這樣就能達(dá)到一個(gè)研究成果**化利用的目的。
算法的原理
研究小組表示，他們給算法制定的目標(biāo)——為隨意給出的黑白照片上色，很明顯條件過(guò)于寬泛，因此之前的類(lèi)似算法要么需要用戶(hù)很多的干涉，要么生成的照片的顏色飽和度往往相當(dāng)?shù)?。而他們通過(guò)將算法設(shè)定為一個(gè)分類(lèi)任務(wù)并且在訓(xùn)練時(shí)使用重分類(lèi)方法來(lái)增加了圖像顏色的多樣性。他們?yōu)樗惴ㄔO(shè)計(jì)了一個(gè)類(lèi)似于圖靈測(cè)試的“顏色圖靈測(cè)試”，用來(lái)評(píng)估算法的效果。讓受試者區(qū)分?jǐn)z制了同樣物體的照片，哪張是真的哪張是程序生成顏色的結(jié)果。結(jié)果他們的方法成功騙過(guò)了20%的人，這個(gè)結(jié)果要顯著高于之前的方法。
基于深度學(xué)習(xí)的自動(dòng)上色程序，以及其實(shí)際應(yīng)用
上圖是這個(gè)算法的網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層（conv layer）都代表著由2到3個(gè)重復(fù)的卷積和整流線性單元（ReLU）層組成的區(qū)塊，**是一個(gè)BatchNorm層。整個(gè)網(wǎng)絡(luò)沒(méi)有池化層。分辨率的變化是由卷積塊之間的空間縮減取樣或不取樣實(shí)現(xiàn)的。
研究團(tuán)隊(duì)在他們的論文中介紹，在圖像本身的信息之外，該方法的靈感倒主要來(lái)源于它的語(yǔ)義學(xué)特征和其中物體的表面提供的線索，在實(shí)例中通常意味著圖像標(biāo)簽（label）所含有的信息：如草一般都是綠的，天一般都是藍(lán)的等。雖然這個(gè)規(guī)律并不一定是通用的，但是事實(shí)上，要讓一幅圖變成漂亮的彩色，并不意味著它的著色一定要跟現(xiàn)實(shí)中的顏色一模一樣，很多時(shí)候只要顏色的相對(duì)關(guān)系看起來(lái)合理，就足夠騙過(guò)人類(lèi)的眼睛了。
與傳統(tǒng)的實(shí)現(xiàn)方法不同，他們并不是利用著色問(wèn)題的損失定制來(lái)實(shí)現(xiàn)算法的，之前提到過(guò)，其實(shí)顏色的預(yù)測(cè)結(jié)果有時(shí)并不需要同現(xiàn)實(shí)結(jié)果一模一樣，比如一件襯衫，表現(xiàn)出很多種顏色看起來(lái)其實(shí)都是合理的。他們的方法是在算法中對(duì)每一個(gè)像素點(diǎn)都預(yù)測(cè)了顏色可能的分布情況。并且在訓(xùn)練中給不常出現(xiàn)的顏色更多的權(quán)重，以增加*終顏色的多樣性。*終以一種分布退火的方式得到**的顏色分布函數(shù)。得到的結(jié)果同以前的結(jié)果相比看起來(lái)會(huì)更加真實(shí)。
研究團(tuán)隊(duì)展示了他們的算法在1000組來(lái)自ImageNet的圖像上的實(shí)驗(yàn)效果，其中大部分都得到了比較好的效果。
|