- NS2583 同步升壓型 2A 雙節(jié)鋰電池充電管理 IC
- NLC47022帶NTC功能和電量均衡功能電流2A 5V異
- PT2027 單觸控雙輸出 LED 調(diào)光 IC
- HT316C兼容HT326C防破音功能免電感濾波2×20WD
- HT3386兼容TPA3118 2×50W D類立體聲音頻功放
- NS8220 300mW 雙聲道耳機音頻放大器
- HT6875 2.8W防削頂單聲道D類音頻功率放大器
- HT77221 HT77211 4.0V~30V輸入,2A/1.2A同步降壓變換器
- NS4117X 系列 外置 MOS 管開關(guān)降壓型 LED 恒流控制器
- HT71663 13V,12A全集成同步升壓轉(zhuǎn)換器
- HT71763 20V,15A全集成同步升壓轉(zhuǎn)換器
- NS2160 同步開關(guān)型降壓鋰電池充電管理 IC
- HT7702 2.5~5.5V輸入,2A同步降壓變換器
- HT77231 4.0V~28V輸入,3.5A同步降壓變換器
為什么需要ISP
網(wǎng)絡(luò)攝像機的主要器件/模塊包括鏡頭(lens)、圖像傳感器(sensor)、模數(shù)轉(zhuǎn)換模塊信號處理模塊、壓縮編碼模塊、網(wǎng)絡(luò)傳輸模塊等。目前攝像機的主控芯片SOC已經(jīng)集成了所有信號處理相關(guān)的功能。
為了使得攝像機的成像效果更符合人的觀看需要,需要對傳感器輸出的原始圖像進行“處理”,即ISP,圖像信號處理。下圖為典型的ISP流程圖。
SP包括RAW、RGB、YUV三個層級,或者稱為ISP的三個域。
關(guān)于RAW、RGB、YUV的介紹,參考前期文章《碼,流,碼流》。
圖像的采集和顯示一般都在RGB空間進行,采集和顯示設(shè)備的工作原理天然符合RGB模型。利用YUV空間具備的色度與亮度分離特性,可以針對亮度和色度選用不同的處理算法,互不干擾,因此圖像信號的處理多在YUV空間進行。
為什么需要ISP?以下按照鏡頭、傳感器、環(huán)境、視覺需要等進行舉例介紹。
鏡頭
鏡頭陰影矯正LSC
Luma shading, 鏡頭通光量從中心向邊緣逐漸衰減導(dǎo)致畫面邊緣亮度變暗的現(xiàn)象。大靶面的sensor配合短焦鏡頭時此現(xiàn)象更加明顯。
Chroma shading,鏡頭對不同波長的光線折射率不同引起焦平面位置分離導(dǎo)致圖像出現(xiàn)偽彩。
畸變校正
枕形畸變(Pincushion Distortion),又稱枕形失真,它是由鏡頭引起的畫面向中間“收縮”的現(xiàn)象。在使用長焦鏡頭或使用變焦鏡頭的長焦端時,最容易察覺枕形失真現(xiàn)象。
桶形畸變(Barrel Distortion),又稱桶形失真,是由鏡頭中透鏡物理性能以及鏡片組結(jié)構(gòu)引起的成像畫面呈桶形膨脹狀的失真現(xiàn)象。在使用廣角鏡頭或使用變焦鏡頭的廣角端時,最容易察覺桶形失真現(xiàn)象。
圖像傳感器多采用“拜耳陣列”進行圖像采集,像素陣列是紅綠藍三種顏色交錯排列的,即非連續(xù)采集,因此需要對采集的RAW數(shù)據(jù)進行處理,以“恢復(fù)”出真實的色彩。
黑電平矯正
圖像傳感器的光電二極管存在暗電流,暗電流是指在沒有外部激勵的情況下,pn結(jié)中仍然存在的微小電流。在無光環(huán)境下,圖像輸出應(yīng)該是純黑的,而實際上無光環(huán)境下光電二極管仍會存在電流,造成輸出并不是純黑的。ISP對傳感器暗電流的處理稱為“黑電平矯正”,通常需要減去一定數(shù)值的輸出。
壞點矯正
圖像傳感器由于自身工藝、材料瑕疵等會造成輸出異常的像素點,統(tǒng)稱為壞點。實際包括壞點(Deadpixel)、粘滯點 (StuckPixels) 與亮點 (Hotpixel),前者是高度曝光下的暗像素點,中者是高度曝光下相同位置出現(xiàn)的彩色像素點,后者為極暗條件下產(chǎn)生的亮點。壞點包括靜態(tài)壞點和動態(tài)壞點,動態(tài)壞點與傳感器工作溫度、增益有關(guān)。壞點矯正通常是將像素點的輸出與周圍像素點作比較,存在明顯較大的差異時則被認為是壞點。
視覺需要
顏色校正Color Corret
人眼在可見光波段的頻譜響應(yīng)、監(jiān)視器的激勵響應(yīng)和圖像傳感器的頻譜響應(yīng)均存在較大差別,如果ISP按照1:1或線性輸出采集的光譜激勵,會造成人眼視覺呈現(xiàn)的圖像色彩失真。
國際照明委員會(CIE)于1931年首次用純數(shù)學(xué)的方法定義了一種顏色空間模型,即CIE 1931 XYZ 顏色空間,它覆蓋了人眼所能感知的全部顏色,而且不依賴于任何特定的物理實現(xiàn)。在該模型中,CIE定義了三個函數(shù)用于模擬人眼的三種錐細胞對可見光譜的響應(yīng)曲線,如下圖所示:
下圖為某款sensor的頻譜響應(yīng)曲線:
為了使得圖像輸出更貼近人眼的觀察效果,需對不同RGB分量進行合適的增益,這種增益同時需要保證對于RGB分量相等的輸入可獲得相等輸出,即不能破壞“白平衡”。
白平衡White Balance
人類視覺系統(tǒng)(Human Visual System, HVS)能夠在各種不同的光照條件下識別物體的顏色,這種自動排除光源影響的能力稱為顏色恒常(color constancy)。
白平衡的英文為White Balance,其基本概念是“不管在任何光源下,都能將白色物體還原為白色”,對在特定光源下拍攝時出現(xiàn)的偏色現(xiàn)象,通過加強對應(yīng)的補色來進行補償。白平衡的作用就是模擬人類的色彩恒常能力,在圖像中去除光源引起的偏色,當圖像在顯示器上渲染時,使物體呈現(xiàn)其應(yīng)有的顏色。對于需要在sRGB(standard Red GreenBlue,通用色彩標準)顯示器上顯示的圖像,白平衡算法需要將拍攝場景色溫下的白色映射為D65色溫下的白色。目前主流的顯示器都是支持sRGB標準的,該標準定義的白點是D65(色溫為6500K),這就相當于實現(xiàn)了人類視覺的顏色恒常特性。白平衡算法的關(guān)鍵在于對場景光源色溫的估計。
Gama矯正
人眼可以適應(yīng)的光亮范圍非常寬廣,從幾乎完全黑暗到非常明亮的陽光。但人眼對亮度的感知并不是線性的,而是冪函數(shù)的關(guān)系,這個函數(shù)的指數(shù)通常為2.2,稱為Gamma值。人眼對低亮度的細小差別感覺較為明顯,而對高亮度的細小差別的感覺不明顯。為了模擬人眼對光線強弱的響應(yīng),Gamma矯正將對低值部分的差距拉大,對高值部分數(shù)據(jù)差距減小。
Tone Mapping色調(diào)映射
顯示器所能呈現(xiàn)的動態(tài)范圍通常遠小于攝像環(huán)境的動態(tài)范圍。因此需要對圖像的亮度和對比度進行處理,以便將高動態(tài)范圍(HDR)的圖像轉(zhuǎn)換為低動態(tài)范圍(LDR)圖像,以適應(yīng)顯示設(shè)備的能力。
噪聲
噪聲的來源是多方面的,可能是鏡頭引入的雜光、傳感器電路特性造成的暗電流等、為了糾正某項誤差而引入的新的誤差等等,RAW、RGB、YUV均有降噪的處理。
以上僅簡單羅列了ISP的部分內(nèi)容,作為科普了解。
從ISP到AI ISP
傳統(tǒng) ISP是將sensor 輸出的raw數(shù)據(jù)按照一定順序的pipeline轉(zhuǎn)換成人眼可見的YUV數(shù)據(jù)。AI ISP是在傳統(tǒng)的基礎(chǔ)上,通過在特定場景下的圖像數(shù)據(jù)集進行訓(xùn)練,將某個模塊或者多個模塊的功能用AI芯片實現(xiàn)。目前成熟的AI ISP技術(shù)是人眼最可知、信號處理時最關(guān)鍵的降噪3DNR、HDR、ToneMapping、Demosaic等進行AI化處理。
上一篇:共模電感和差模電感在音頻中的應(yīng)用;
下一篇:串口通信解釋