互聯(lián)網(wǎng)時(shí)代,，照片是人們交流和表達(dá)的重要方式之一,，人們往往喜歡通過照片分享自己的所見所聞,，然而很多時(shí)候,，受低光照或背光環(huán)境影響，拍攝到的照片經(jīng)常會(huì)產(chǎn)生欠曝光的現(xiàn)象,，常常導(dǎo)致拍了很多照片,，卻難以挑選出能拿得出手的,。近期,，騰訊優(yōu)圖實(shí)驗(yàn)室提出的“低光照圖像增強(qiáng)算法”，則有望解決這一痛點(diǎn),。

各大廠商紛紛推出夜拍神器,，夜拍痛點(diǎn)仍難除

近幾年，各大手機(jī)廠商紛紛推出各種“夜拍神器”,，企圖抓住該細(xì)分市場,，在智能手機(jī)的紅海市場分一杯羹。

2018年11月,，谷歌推出新的Pixel智能手機(jī),，同時(shí)宣布推出全新相機(jī)模式Night Sight。谷歌宣稱,，使用Night Sight拍攝的照片比使用標(biāo)準(zhǔn)相機(jī)模式拍攝的照片要精準(zhǔn)得多,。然而，Night Sight拍攝照片所需的時(shí)間取決于場景和可用光線,，通常需要一兩秒鐘才能讓手機(jī)啟動(dòng)該模式工作,。同時(shí)該模式可以使用的前期是仍需要一些光才能工作，如果在非常黑暗的環(huán)境中拍攝照片時(shí)，會(huì)得到一個(gè)像素混亂的結(jié)果,。換句話說,，這不是真正的暗光拍攝。

不到半年,，在華為P30發(fā)布會(huì)上,，華為消費(fèi)者業(yè)務(wù)CEO余承東重點(diǎn)介紹了P30在拍照和攝像能力的提升，在夜拍上余承東調(diào)侃稱“三星的Galaxy拍不到銀行,，但P30可以”,。其現(xiàn)場展示的P30拍攝的銀河照片，也似有與拍攝“火星”的Pixel叫板之意,。不過P30有個(gè)前提是拍攝場景不能有太大的亮暗差,，這樣相機(jī)會(huì)避免過曝而導(dǎo)致暗處一團(tuán)黑。

一度風(fēng)靡全球的街機(jī)iPhone,，因夜拍效果差長期受消費(fèi)者詬病,，最新一代的iPhoneX雖然宣稱在夜拍能力上增強(qiáng)不少，但仍有用戶吐槽夜拍照片局部放大后,，由于過度曝光噪點(diǎn)很多,。

目前，業(yè)內(nèi)有三種傳統(tǒng)夜景圖像增強(qiáng)算法,。直方圖均衡化(Histogram equalization),，這種方法簡單的利用了圖像整體的統(tǒng)計(jì)性質(zhì)，通常不能對復(fù)雜場景達(dá)到理想效果,?；赗etinex理論的增強(qiáng)算法，通常只能用單通道進(jìn)行光照優(yōu)化,，顏色無法很好地回復(fù),，在光照復(fù)雜的情況下還容易出現(xiàn)過曝的現(xiàn)象。這些傳統(tǒng)方法還容易在增加圖像亮度的同時(shí),，放大噪聲等瑕疵,，影響圖像質(zhì)量。而基于深度學(xué)習(xí)的方法,，通常是輸入圖像到標(biāo)注圖像之間直接訓(xùn)練回歸(regression)模型,，由于數(shù)據(jù)本身的特性，這種方法得到的結(jié)果通常清晰度,、對比度比較低,，而且會(huì)有一些人工痕跡。

技術(shù)揭秘：低光照圖像增強(qiáng),，騰訊優(yōu)圖的“炫”科技

來自騰訊優(yōu)圖的研究員介紹說,，該算法全稱為“基于深度學(xué)習(xí)優(yōu)化光照的暗光下的圖像增強(qiáng)”，通俗理解，是可以在移動(dòng)端實(shí)時(shí)實(shí)現(xiàn)比美Adobe Lightroom專業(yè)調(diào)光效果的高端算法,。已經(jīng)被計(jì)算機(jī)視覺國際頂級(jí)會(huì)議CVPR2019收錄,。

在應(yīng)用了騰訊優(yōu)圖低光照圖像增強(qiáng)算法后，原本黑乎乎的圖片立馬變得明亮清晰,、色澤豐滿起來,，其效果比起國際大牌的商業(yè)軟件也絲毫不遜，甚至更佳,。

騰訊優(yōu)圖對傳統(tǒng)夜景圖像增強(qiáng)算法進(jìn)行了分析,，發(fā)現(xiàn)直方圖均衡化對復(fù)雜場景不理想； Retinex算法,，顏色無法很好地恢復(fù),，光照復(fù)雜還容易過曝；深度學(xué)習(xí)的直接訓(xùn)練回歸模型,，清晰度,、對比度較低，且有人工痕跡,。

傳統(tǒng)辦法的欠缺,，都在于過度重視“優(yōu)化圖片”，依靠各種技術(shù)指標(biāo),，缺乏對“人”之體驗(yàn)的終極關(guān)注,。騰訊優(yōu)圖創(chuàng)新算法，在網(wǎng)絡(luò)中引入中間照明,，將輸入與預(yù)期的增強(qiáng)結(jié)果相關(guān)聯(lián),，增強(qiáng)了網(wǎng)絡(luò)從專家修飾的輸入/輸出圖像學(xué)習(xí)復(fù)雜的攝影調(diào)整的能力。通俗理解,，就是引入了專業(yè)美術(shù)人員優(yōu)化后的照片與原始照片對比,，由機(jī)器自動(dòng)學(xué)習(xí),，模擬出人類的智慧,。騰訊優(yōu)圖引入了3000組原始圖片和專業(yè)美工調(diào)節(jié)后的圖像，并訓(xùn)練網(wǎng)絡(luò)有效地學(xué)習(xí)各種照明條件的豐富多樣的調(diào)整,。

在網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)方面,，該算法也采用創(chuàng)新的雙分支的網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)分成了全分辨率分支和低分辨率分支,。其中低分辨率分支用于學(xué)習(xí)到全圖光照的整體信息,，低分辨率圖像的使用，有助于增大網(wǎng)絡(luò)感受野,，提高算法速度,。低分辨率分支的結(jié)果將會(huì)傳遞給高分辨率網(wǎng)絡(luò)分支，用于重建全分辨率下的亮度圖，并最終得到增強(qiáng)后的圖像,。此外,，新的損失函數(shù)也進(jìn)一步幫助網(wǎng)絡(luò)結(jié)構(gòu)產(chǎn)生更加穩(wěn)定、清晰,、顏色真實(shí)鮮艷的結(jié)果,。因此，騰訊優(yōu)圖的低光照圖像增強(qiáng)算法,，在增強(qiáng)結(jié)果中恢復(fù)清晰的細(xì)節(jié),，鮮明的對比度和自然色彩。

計(jì)算機(jī)視覺AI算法,，不止是手機(jī)攝影

實(shí)驗(yàn)室的創(chuàng)新算法,，目前可以用于哪些場景呢？騰訊優(yōu)圖的算法研究員介紹,，手機(jī)攝影或手機(jī)拍照效果優(yōu)化,，依然是最重要的應(yīng)用場景。該算法與手機(jī)硬件的結(jié)合,，有望在夜景拍攝上取得進(jìn)一步的突破,，給消費(fèi)者帶來更好的夜拍體驗(yàn)。

自2012年開始,，騰訊優(yōu)圖已在全球贏得就近700項(xiàng)專利,，并多次刷新FDDB、MegaFace等多項(xiàng)國際頂級(jí)評(píng)測世界記錄,。這些在人臉識(shí)別,、圖像識(shí)別領(lǐng)域的科研探索，不但應(yīng)用于美化圖片,，還被廣泛應(yīng)用于交通,、醫(yī)療影像、自動(dòng)駕駛,、金融,、社交、娛樂,、零售等多個(gè)行業(yè)領(lǐng)域,。

例如，基于騰訊優(yōu)圖AI算法研發(fā)的肺癌,、宮頸癌及糖尿病視網(wǎng)膜病變篩查技術(shù)已經(jīng)通過騰訊覓影平臺(tái)上線,，并逐步落地到全國多家醫(yī)院。

來源：中華網(wǎng)