国产福利小电影视福利在线_亚洲欧美日韩性色_网站在线免费观看_国产人成免费视频网站_国产精品乱人伦AV_青草伊人av影视_精品熟女少妇av免费观看_日本69色视频在线观看_午夜国产在线播放_午夜两性啪啪免费剧场

首頁 > 新聞動態(tài) > 技術(shù)資訊 >
技術(shù)資訊

為什么需要ISP

來 源:  時 間:2024-10-15

網(wǎng)絡(luò)攝像機的主要器件/模塊包括鏡頭(lens)、圖像傳感器(sensor)、模數(shù)轉(zhuǎn)換模塊信號處理模塊、壓縮編碼模塊、網(wǎng)絡(luò)傳輸模塊等。目前攝像機的主控芯片SOC已經(jīng)集成了所有信號處理相關(guān)的功能。

為了使得攝像機的成像效果更符合人的觀看需要,需要對傳感器輸出的原始圖像進行“處理”,即ISP,圖像信號處理。下圖為典型的ISP流程圖。

SP包括RAW、RGB、YUV三個層級,或者稱為ISP的三個域。

關(guān)于RAW、RGB、YUV的介紹,參考前期文章《碼,流,碼流》。

圖像的采集和顯示一般都在RGB空間進行,采集和顯示設(shè)備的工作原理天然符合RGB模型。利用YUV空間具備的色度與亮度分離特性,可以針對亮度和色度選用不同的處理算法,互不干擾,因此圖像信號的處理多在YUV空間進行。

為什么需要ISP?以下按照鏡頭、傳感器、環(huán)境、視覺需要等進行舉例介紹。

鏡頭

鏡頭陰影矯正LSC

Luma shading, 鏡頭通光量從中心向邊緣逐漸衰減導(dǎo)致畫面邊緣亮度變暗的現(xiàn)象。大靶面的sensor配合短焦鏡頭時此現(xiàn)象更加明顯。

Chroma shading,鏡頭對不同波長的光線折射率不同引起焦平面位置分離導(dǎo)致圖像出現(xiàn)偽彩。

畸變校正

枕形畸變(Pincushion Distortion),又稱枕形失真,它是由鏡頭引起的畫面向中間“收縮”的現(xiàn)象。在使用長焦鏡頭或使用變焦鏡頭的長焦端時,最容易察覺枕形失真現(xiàn)象。

桶形畸變(Barrel Distortion),又稱桶形失真,是由鏡頭中透鏡物理性能以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形膨脹狀的失真現(xiàn)象。在使用廣角鏡頭或使用變焦鏡頭的廣角端時,最容易察覺桶形失真現(xiàn)象。


 

圖像傳感器多采用“拜耳陣列”進行圖像采集,像素陣列是紅綠藍三種顏色交錯排列的,即非連續(xù)采集,因此需要對采集的RAW數(shù)據(jù)進行處理,以“恢復(fù)”出真實的色彩。

黑電平矯正

圖像傳感器的光電二極管存在暗電流,暗電流是指在沒有外部激勵的情況下,pn結(jié)中仍然存在的微小電流。在無光環(huán)境下,圖像輸出應(yīng)該是純黑的,而實際上無光環(huán)境下光電二極管仍會存在電流,造成輸出并不是純黑的。ISP對傳感器暗電流的處理稱為“黑電平矯正”,通常需要減去一定數(shù)值的輸出。

壞點矯正

圖像傳感器由于自身工藝、材料瑕疵等會造成輸出異常的像素點,統(tǒng)稱為壞點。實際包括壞點(Deadpixel)、粘滯點 (StuckPixels) 與亮點 (Hotpixel),前者是高度曝光下的暗像素點,中者是高度曝光下相同位置出現(xiàn)的彩色像素點,后者為極暗條件下產(chǎn)生的亮點。壞點包括靜態(tài)壞點和動態(tài)壞點,動態(tài)壞點與傳感器工作溫度、增益有關(guān)。壞點矯正通常是將像素點的輸出與周圍像素點作比較,存在明顯較大的差異時則被認為是壞點。

視覺需要

顏色校正Color Corret

人眼在可見光波段的頻譜響應(yīng)、監(jiān)視器的激勵響應(yīng)和圖像傳感器的頻譜響應(yīng)均存在較大差別,如果ISP按照1:1或線性輸出采集的光譜激勵,會造成人眼視覺呈現(xiàn)的圖像色彩失真。

國際照明委員會(CIE)于1931年首次用純數(shù)學(xué)的方法定義了一種顏色空間模型,即CIE 1931 XYZ 顏色空間,它覆蓋了人眼所能感知的全部顏色,而且不依賴于任何特定的物理實現(xiàn)。在該模型中,CIE定義了三個函數(shù)用于模擬人眼的三種錐細胞對可見光譜的響應(yīng)曲線,如下圖所示:


下圖為某款sensor的頻譜響應(yīng)曲線:


為了使得圖像輸出更貼近人眼的觀察效果,需對不同RGB分量進行合適的增益,這種增益同時需要保證對于RGB分量相等的輸入可獲得相等輸出,即不能破壞“白平衡”。

白平衡White Balance

人類視覺系統(tǒng)(Human Visual System, HVS)能夠在各種不同的光照條件下識別物體的顏色,這種自動排除光源影響的能力稱為顏色恒常(color constancy)。

白平衡的英文為White Balance,其基本概念是“不管在任何光源下,都能將白色物體還原為白色”,對在特定光源下拍攝時出現(xiàn)的偏色現(xiàn)象,通過加強對應(yīng)的補色來進行補償。白平衡的作用就是模擬人類的色彩恒常能力,在圖像中去除光源引起的偏色,當圖像在顯示器上渲染時,使物體呈現(xiàn)其應(yīng)有的顏色。對于需要在sRGB(standard Red GreenBlue,通用色彩標準)顯示器上顯示的圖像,白平衡算法需要將拍攝場景色溫下的白色映射為D65色溫下的白色。目前主流的顯示器都是支持sRGB標準的,該標準定義的白點是D65(色溫為6500K),這就相當于實現(xiàn)了人類視覺的顏色恒常特性。白平衡算法的關(guān)鍵在于對場景光源色溫的估計。

Gama矯正

人眼可以適應(yīng)的光亮范圍非常寬廣,從幾乎完全黑暗到非常明亮的陽光。但人眼對亮度的感知并不是線性的,而是冪函數(shù)的關(guān)系,這個函數(shù)的指數(shù)通常為2.2,稱為Gamma值。人眼對低亮度的細小差別感覺較為明顯,而對高亮度的細小差別的感覺不明顯。為了模擬人眼對光線強弱的響應(yīng),Gamma矯正將對低值部分的差距拉大,對高值部分數(shù)據(jù)差距減小。

Tone Mapping色調(diào)映射

顯示器所能呈現(xiàn)的動態(tài)范圍通常遠小于攝像環(huán)境的動態(tài)范圍。因此需要對圖像的亮度和對比度進行處理,以便將高動態(tài)范圍(HDR)的圖像轉(zhuǎn)換為低動態(tài)范圍(LDR)圖像,以適應(yīng)顯示設(shè)備的能力。

噪聲

噪聲的來源是多方面的,可能是鏡頭引入的雜光、傳感器電路特性造成的暗電流等、為了糾正某項誤差而引入的新的誤差等等,RAW、RGB、YUV均有降噪的處理。

以上僅簡單羅列了ISP的部分內(nèi)容,作為科普了解。

從ISP到AI ISP

傳統(tǒng) ISP是將sensor 輸出的raw數(shù)據(jù)按照一定順序的pipeline轉(zhuǎn)換成人眼可見的YUV數(shù)據(jù)。AI ISP是在傳統(tǒng)的基礎(chǔ)上,通過在特定場景下的圖像數(shù)據(jù)集進行訓(xùn)練,將某個模塊或者多個模塊的功能用AI芯片實現(xiàn)。目前成熟的AI ISP技術(shù)是人眼最可知、信號處理時最關(guān)鍵的降噪3DNR、HDR、ToneMapping、Demosaic等進行AI化處理。

上一篇:共模電感和差模電感在音頻中的應(yīng)用;
下一篇:串口通信解釋

公司簡介,關(guān)于我們 佰泰盛世產(chǎn)品展示 聯(lián)系佰泰盛世
點擊關(guān)閉

  • 馬生:

    掃碼聯(lián)系微信

    服務(wù)熱線:

    0755-82717797