無論是瀏覽新聞、論壇還是貼吧,甚至在淘寶和京東的商品評論和蘋果App Store的應(yīng)用評價下面,我們經(jīng)常能看到一些廣告和無價值的垃圾留言,不勝其煩。傳統(tǒng)的做法是以人工的方式篩選和后臺刪除,不但費時費力而且容易出錯,不過,未來這一現(xiàn)狀或?qū)l(fā)生改觀。
無論是瀏覽新聞、論壇還是貼吧,甚至在淘寶和京東的商品評論和蘋果App Store的應(yīng)用評價下面,我們經(jīng)常能看到一些廣告和無價值的垃圾留言,不勝其煩。傳統(tǒng)的做法是以人工的方式篩選和后臺刪除,不但費時費力而且容易出錯,不過,未來這一現(xiàn)狀或?qū)l(fā)生改觀。
近日,有外媒報道稱,雅虎將啟用人工智能技術(shù)來刪除新聞報道下面的垃圾留言。在測試中,這一算法有90%的概率能識別出不當(dāng)用語,而這一準(zhǔn)確率勝過了人工排查方式,以及其他強(qiáng)大的深度學(xué)習(xí)技術(shù)。
雅虎的這一算法不同于傳統(tǒng)的關(guān)鍵詞識別,而是會關(guān)注一系列的額外因素,例如內(nèi)容的長度和標(biāo)點的使用等。隨后,受過培訓(xùn)的員工也會對這些智能算法篩選出的結(jié)果進(jìn)行評估,然后再反饋給算法,從而訓(xùn)練人工智能感受語言中的細(xì)微差別。除此之外,雅虎還利用了亞馬遜Mechanical Turk中眾包的額外評價結(jié)果,提供這些評價的并非專業(yè)的評論管理人員,以此來綜合訓(xùn)練這一人工智能算法的準(zhǔn)確度。
石家莊網(wǎng)絡(luò)優(yōu)化獲悉目前,這一技術(shù)并未公開商用。不過雅虎相信,這將會成為計算機(jī)自然語言處理的重要一步。這項技術(shù)在雅虎內(nèi)部的應(yīng)用情況良好,但未來還需要接受其他數(shù)據(jù)庫的考驗。