當(dāng)前訊息:特斯聯(lián)公布研發(fā)新突破:可實(shí)現(xiàn)快速圖像復(fù)原和增強(qiáng)
發(fā)布時(shí)間:2022-10-19 08:20:54
文章來(lái)源:環(huán)球網(wǎng)
特斯聯(lián)公布研發(fā)新突破:可實(shí)現(xiàn)快速圖像復(fù)原和增強(qiáng)

【資料圖】
圖像復(fù)原旨在恢復(fù)丟失的高質(zhì)量圖像內(nèi)容,在計(jì)算攝影、自動(dòng)駕駛和遙感等諸多應(yīng)用領(lǐng)域有著廣泛的應(yīng)用價(jià)值。近年來(lái),受卷積神經(jīng)網(wǎng)絡(luò)主導(dǎo),圖像復(fù)原領(lǐng)域取得了重大進(jìn)展。 然而,廣泛使用的基于卷積神經(jīng)網(wǎng)絡(luò)的方法面臨著上下文信息不能被精確編碼抑或是空間上不夠精確的問(wèn)題。
近日,特斯聯(lián)首席科學(xué)家邵嶺博士及其團(tuán)隊(duì)提出了一種全新架構(gòu)予以解決。相關(guān)研究成果(題為:Learning Enriched Features for Fast Image Restoration and Enhancement)已被IEEE T-PAMI收錄。
在圖像采集時(shí),由于相機(jī)的物理限制或復(fù)雜的照明條件,經(jīng)常會(huì)造成不同嚴(yán)重程度的圖像退化。舉例來(lái)說(shuō),智能手機(jī)相機(jī)的光圈狹小,具有動(dòng)態(tài)范圍有限的小型傳感器,因而,它們總是得到有噪聲和低對(duì)比度的圖像。類似地,在不合適的照明情況下,拍攝的圖像要么太暗要么太亮。圖像修復(fù)旨在從損壞的度量中恢復(fù)原始的干凈圖像。由于存在許多可能的解決方案,這是一個(gè)不適定的逆問(wèn)題。
據(jù)介紹,圖像修復(fù)是一個(gè)位置敏感的過(guò)程,需要從輸入圖像到輸出圖像逐像素的對(duì)應(yīng)。因此,只刪除不想要的退化圖像內(nèi)容,而仔細(xì)保留所需的精細(xì)空間細(xì)節(jié)(例如真實(shí)邊緣和紋理)是至關(guān)重要的。這種用于從真實(shí)信號(hào)中分離退化內(nèi)容的功能可以更好地借助廣泛上下文合并到卷積神經(jīng)網(wǎng)絡(luò)中,例如通過(guò)擴(kuò)大感受野。為實(shí)現(xiàn)這一目標(biāo),上述團(tuán)隊(duì)開發(fā)了一種全新的多尺度方法,沿網(wǎng)絡(luò)層次結(jié)構(gòu)保持原始高分辨率特征,從而最大限度地減少精確空間細(xì)節(jié)的損失。同時(shí),新模型使用以較低空間分辨率處理特征的并行的卷積流來(lái)編碼多尺度上下文。多分辨率并行分支與主要高分辨率分支互補(bǔ),從而提供更精確和上下文豐富的表征。
該方法與現(xiàn)有的多尺度圖像處理方法之間的主要區(qū)別在于聚合上下文信息的方式。現(xiàn)有的方法分別處理每個(gè)尺度,而新方法從粗到細(xì)逐步交換和融合各分辨率級(jí)別的信息。此外,與現(xiàn)有方法不同,新方法引入了一種新的選擇性核融合方法,利用自注意力機(jī)制,從每個(gè)分支表征動(dòng)態(tài)篩選一組有用的核。更重要的是,所提出的融合塊結(jié)合了具有不同感受野的特征,同時(shí)保留了它們獨(dú)特的互補(bǔ)的特征。