9041
“一夜修復(fù)”的背后，是國產(chǎn)SoC工程師接續(xù)多年堅持自研芯片的奮斗。
最近華為mate60Pro的發(fā)售引爆了國內(nèi)機(jī)圈，悄悄上線，無宣發(fā)無預(yù)告，不僅打懵了眾多消費(fèi)者，還順便“奇襲”OPPO，奪走了絕大部分線上流量。很多長期蹲守的用戶在第一時間拿到手機(jī)，全方位測試后卻發(fā)現(xiàn)一個重要缺陷：盡管在芯片上華為實(shí)現(xiàn)了對美國芯片封鎖的突破，但很多用戶在測試攝像功能的時候遇到偏色、調(diào)光不正常、穩(wěn)定性不佳等現(xiàn)象。當(dāng)時很多用戶都猜測華為這次端上來的是一道“半成品菜”，還有很多功能并沒有開發(fā)完全。好在很快華為就在一次更新中修復(fù)了這一漏洞。修復(fù)后，華為Mate 60 Pro終于展現(xiàn)出了它應(yīng)有的攝影能力，消費(fèi)者也終于放心它的最終質(zhì)量。
也有更多人提出疑問，拍攝不應(yīng)該是看鏡頭或傳感器的質(zhì)量嗎？為什么軟件的更新會影響如此多的功能？其實(shí)如果我們把國產(chǎn)手機(jī)依次拆開，你可能會發(fā)現(xiàn)，絕大多數(shù)廠商的圖像傳感器模塊都采用了索尼一家的產(chǎn)品。例如以挑戰(zhàn)卡片相機(jī)出名的小米12S Ultra就采用了索尼IMX989。OPPO剛剛推出的K11手機(jī)，它的圖像傳感器就采用了索尼IMX890，采用了該款傳感器的手機(jī)還有OPPO Find X6、OPPO 9 Pro+、realmeGT Neo5、一加11、一加Ace 2等。最近爆火的“爭氣機(jī)”華為Mate 60 Pro的主攝也同樣采用來自索尼的IMX766傳感器。
既然索尼已經(jīng)“一統(tǒng)天下”，那為什么各廠商手機(jī)的攝影質(zhì)量還是有很大不同？有些采用同樣傳感器的型號的手機(jī)拍出來的照片仍舊天差地別？這就不得不提到手機(jī)攝影的關(guān)鍵——計算攝影，以及站在鏡頭與傳感器身后默默工作的最大功臣ISP圖像處理芯片。
何為ISP？
過去的膠片時代，用相機(jī)拍攝一張照片很簡單。我們只需要在相機(jī)中放入膠卷，將鏡頭對準(zhǔn)拍攝對象，然后調(diào)整焦距、光圈與快門速度到合適的程度，就可以按下快門，留下美好的瞬間。膠卷攝影時代相機(jī)可調(diào)節(jié)的參數(shù)并沒有今天那么多，看似流程簡單，是因?yàn)閿z影師唯一能做的只有這么多，相機(jī)看到了什么，我們就只能記錄什么，但無法后期調(diào)整的特性讓攝影師在調(diào)整構(gòu)圖、測光、更改參數(shù)的時候要花費(fèi)比現(xiàn)在多得多的精力。
不過愛美的你我自然無法接受按下快門一切都將注定的結(jié)果。在數(shù)碼攝影時代，相機(jī)工程師對于光的掌握更進(jìn)了一步。這其中最重要的變化就是承載光線的“基底”發(fā)生了變化——由膠卷上的感光物質(zhì)的化學(xué)反應(yīng)變?yōu)榱藗鞲衅鲗饩€強(qiáng)度的收集。
相機(jī)傳感器也有很多種類，過去CCD（charge coupled device）相機(jī)與CMOS（Complementary Metal-Oxide-Semiconductor）傳感器都流行過一段時間，不過隨著技術(shù)進(jìn)展，CMOS逐漸占了上風(fēng)，目前我們能見到的民用相機(jī)基本都為CMOS，它目前通常也指代所有手機(jī)或相機(jī)的傳感器。當(dāng)傳感器接收到從鏡頭與快門傳來的光信號后，它上面的每個像素點(diǎn)都會根據(jù)光線強(qiáng)弱感應(yīng)出電信號，再通過接口將這些獨(dú)立的電信號傳遞給后方芯片，這時ISP芯片登場了。
ISP芯片即“Image Signal Processor”（圖像信號處理器），它誕生于美國登月探測時代。彼時NASA在月球探測中發(fā)現(xiàn)，月球車上的模擬相機(jī)拍攝的照片非常微弱且不清晰，根本看不清月球地貌。此后，基于當(dāng)時的CCD傳感器技術(shù)，研究人員研發(fā)了對圖像信號處理的專用模塊，ISP信號處理器就誕生了。
可以看到，ISP主要任務(wù)就是處理攝像頭模塊傳來的圖像信號，相當(dāng)于人類視覺系統(tǒng)中大腦中處理視覺信息的模塊。ISP芯片的應(yīng)用不僅在相機(jī)與手機(jī)中，在依賴攝像頭的自動駕駛系統(tǒng)中也同樣有著重要作用。
ISP的功能有很多，最重要的就是實(shí)現(xiàn)高清畫面的高性能處理，包括拜耳變換（將數(shù)字信號轉(zhuǎn)為帶有RGB數(shù)值的圖片）、去馬賽克、降噪以及圖像銳化等功能，由于ISP芯片的功能較為固定，因此很多ISP芯片都采用專用標(biāo)準(zhǔn)產(chǎn)品（ASSP）甚至專用集成電路（ASIC）。芯片接收到信號后，就可以通過算法處理，最終輸出一個RGB空間域的清晰圖像。這個過程中，ISP芯片還可以將圖像質(zhì)量實(shí)時反饋給鏡頭驅(qū)動模塊，來實(shí)現(xiàn)手機(jī)鏡頭的自動對焦、調(diào)整曝光以及設(shè)定白平衡等功能。
相對手機(jī)中的CPU與GPU等高算力芯片，ISP芯片所執(zhí)行的任務(wù)很“輕”，因此在手機(jī)內(nèi)部寸土寸金的地方，ISP模塊通常會被集成到SoC中。不過到了今天，包括蘋果和三星在內(nèi)的幾乎所有手機(jī)廠商都會選擇獨(dú)立ISP芯片模塊，華為Mate 60 Pro則在麒麟9000S中自帶一塊完全自研的ISP模塊。
這也引出了當(dāng)前ISP芯片要走的兩條道路，內(nèi)部ISP與外部ISP。內(nèi)部ISP被集成到SoC中，負(fù)責(zé)執(zhí)行圖像傳感器執(zhí)行信號處理功能。與外部圖像信號處理器相比，內(nèi)部ISP提供的圖像質(zhì)量和性能較低，但它們更便宜且更易于使用。外部ISP相當(dāng)于一個獨(dú)立設(shè)備，專門設(shè)計用于執(zhí)行圖像信號處理功能。它通常用于高端數(shù)碼相機(jī)和其他需要高圖像質(zhì)量的成像設(shè)備。外部ISP可提供最佳的圖像質(zhì)量和性能，但它們也是最昂貴且使用復(fù)雜的。
與非網(wǎng)自制
如果說手機(jī)鏡頭與圖像傳感器決定了攝影上限，那ISP芯片或模塊則是決定照片能否使用的下限。這里舉幾個例子。傳感器在不工作（無光）的時候，畫面是純黑色的，這時候的信號電平為0。不過受到暗電流影響，傳感器發(fā)出的信號并不總是維持在0電平狀態(tài)，這就會導(dǎo)致畫面中的黑色偏灰。ISP芯片則可以校正信號，過濾暗電流，讓黑色更“純粹”。
除了黑平衡外，對于綠色的平衡矯正也值得關(guān)注。2016年前后，小米手機(jī)拍照有一條令人詬病的缺點(diǎn)——祖?zhèn)骶G。彼時小米手機(jī)拍照，無論在何種情況下總會散發(fā)隱隱的綠色。這種問題的根源其實(shí)在于傳感器的設(shè)計與電路上。當(dāng)前CMOS上感光像素并不遵循RGB三色1:1，而是RGBG的形式，G綠色的像素點(diǎn)數(shù)量是其他顏色的兩倍。受到鏡頭色散影響，傳感器的邊緣區(qū)域接收到的RGB光強(qiáng)與中心并不相同。如果不通過ISP芯片進(jìn)行調(diào)整或調(diào)整效果不佳，屏幕邊緣就會呈現(xiàn)偏綠或偏紫（綠的相反色）的顏色。受到“祖?zhèn)骶G”的影響，很長一段時間內(nèi)小米的品牌形象都被冠以“拍照差”的標(biāo)簽。
此外，除了上文提到的重要作用外，ISP芯片還負(fù)責(zé)鏡頭陰影校正、壞點(diǎn)校正、伽馬校正等重要參數(shù)調(diào)整。任何一點(diǎn)除了問題都回導(dǎo)致拍照質(zhì)量受到嚴(yán)重影響。因此對ISP芯片的調(diào)教已經(jīng)成為手機(jī)廠商的必修課。
AI賦能ISP
近年來，計算攝影的快速普及，也對ISP芯片在新時代提出了全新要求。AI-ISP架構(gòu)結(jié)合了兩者的優(yōu)勢,給傳統(tǒng)ISP芯片加一個全新的AI大腦。小米集團(tuán)高級副總裁曾學(xué)忠曾表示：AI賦能是芯片研發(fā)的重點(diǎn)之一,將在計算攝影領(lǐng)域用AI算法與硬件進(jìn)行深入結(jié)合。
計算攝影，其實(shí)并不只是“智能美顏”這么簡單。基礎(chǔ)為攝影，但本質(zhì)在“算”。打開手機(jī)相機(jī)專業(yè)模式，我們能發(fā)現(xiàn)除了快門速度、ISO、焦距等傳統(tǒng)參數(shù)調(diào)整外，通常還會找到諸如HDR、夜景模式、人像模式甚至多攝像頭融合模式等。
以HDR功能舉例。HDR（High Dynamic Range）即高動態(tài)范圍，使用該技術(shù)可以盡可能的保證畫面中不會出現(xiàn)過曝過暗的現(xiàn)象。它可以讓相機(jī)連續(xù)拍攝三次，按照高光部分拍攝，正常拍攝以及按照暗景部分拍攝，最后三張照片經(jīng)過運(yùn)算合成一張圖片，就可以保證盡可能多的細(xì)節(jié)不會丟失。不過這個合成過程對于ISP來說充滿挑戰(zhàn)。ISP芯片需要對齊輸入的LDR（Low Dynamic Range），再將多張圖片選擇合適的細(xì)節(jié)進(jìn)行合成。
與AI結(jié)合的ISP芯片首先通過機(jī)器學(xué)習(xí)的方式，校正圖像的伽馬值到人眼感知的區(qū)域內(nèi)；接著再選取圖片特征點(diǎn)或者進(jìn)行光流匹配，使得多張圖片都能對齊；最后，AI算法會識別圖像中特定區(qū)域（往往是像素級別大小）的噪點(diǎn)量，評估該區(qū)域是否予以保留，最后生成一張HDR圖片。隨著AI技術(shù)的持續(xù)進(jìn)展，如今的HDR甚至可以不需要連續(xù)拍攝三張圖片，僅需單張圖片就能生成。AI算法可以利用三維反卷積網(wǎng)絡(luò)，通過學(xué)習(xí)曝光增加或減少時，像素值的相對變化等，可在不引入自然噪聲的情況下實(shí)現(xiàn)調(diào)色與調(diào)光。
無論采用哪種AI技術(shù)，讓圖片更清晰永遠(yuǎn)是第一要領(lǐng)。愛芯元智公司曾在網(wǎng)絡(luò)上分享、暗光條件下的AI技術(shù)應(yīng)用：“在我們的pipeline中，只將其中重要的模塊進(jìn)行AI化，將有限的算力集中于整個AI ISP中，最關(guān)鍵、人眼最可知的這些功能中，比如像HDR、去噪的3DNR、tone mapping，還有demosaic這樣的功能中進(jìn)行AI化，以實(shí)現(xiàn)整個AI ISP的最佳效果?！痹诩夹g(shù)文章中，該公司表示已在ISP中增添NPU，和傳統(tǒng)其他芯片中的NPU并不完全一樣，除了強(qiáng)調(diào)計算單元之外，還有Pre-Process（預(yù)處理）、Post-Process（后處理）和一個更大的Shared Memory（共享內(nèi)存），以及一些針對AI ISP的流式處理和CV的處理操作，可以使我們的算力在AI的圖像處理中能夠有更好的提升。
恩智浦也同樣在ISP中增加了機(jī)器學(xué)習(xí)加速器。恩智浦邊緣處理事業(yè)部技術(shù)總監(jiān)、系統(tǒng)架構(gòu)師和首席工程師Ben Eckermann在技術(shù)文章中表示：“采用為機(jī)器學(xué)習(xí)和視覺系統(tǒng)而優(yōu)化的芯片架構(gòu)，擁有強(qiáng)大的機(jī)器學(xué)習(xí)能力，配合高清攝像頭系統(tǒng)，能夠讓設(shè)備看得更清晰、更遠(yuǎn)?！?/p>
除了上述對畫面的增強(qiáng)效果外，AI賦能下的ISP芯片讓攝像頭的應(yīng)用范圍進(jìn)一步擴(kuò)大。不只是消費(fèi)電子，越來越多的場景中都出現(xiàn)了攝像頭的身影，例如智能安防、自動駕駛、醫(yī)療影像、工業(yè)檢測等。不同應(yīng)用領(lǐng)域?qū)τ趫D像的處理需求也不盡相同。AI+ISP的組合，并不是簡單的1+1=2，AI賦予了ISP芯片對于不同領(lǐng)域的適應(yīng)能力，在應(yīng)對愈加復(fù)雜的圖形時，AI ISP還能依靠機(jī)器學(xué)習(xí)不斷“成長”，輕松超越傳統(tǒng)單ISP芯片的能力上限。
國產(chǎn)替代的先鋒
目前的國產(chǎn)手機(jī)廠商，尤其是華、米、O、V四家，對于自研ISP芯片情有獨(dú)鐘。2015年11月05日上午，華為正式發(fā)布了麒麟950，首次搭載了自研ISP模塊。自此之后，華為手機(jī)的攝影能力逐漸提升，P系列手機(jī)依靠強(qiáng)勁的拍攝能力在幾年之內(nèi)就躋身第一梯隊(duì)。
其余三家盡管起步較晚，但也陸續(xù)推出了自研ISP芯片。2021年，小米推出首顆自研ISP芯片澎湃C1。該芯片是小米自2017年推出澎湃S1后，四年來的又一次自研芯片嘗試。澎湃S1是小米自研的第一顆SoC，但推出后反響平平，甚至“差”評不斷。而澎湃C1則選擇了ISP芯片作為切入點(diǎn)，推出則廣受好評，其接續(xù)者澎湃C2則助力小米12s ultra站在了安卓陣營攝影頂尖位置。2022年，OPPO哲庫團(tuán)隊(duì)也推出過馬里亞納X芯片，盡管哲庫的故事劃上了句點(diǎn)，但仍讓搭載該芯片的OPPO手機(jī)在攝影領(lǐng)域不輸同行。VIVO則在2021年自研V1 ISP芯片作為自研芯片的起點(diǎn)。
所以，為什么華、米、O、V四家都默契的選擇了ISP芯片作為自研芯的起點(diǎn)呢？原因則是在ISP芯片本身的架構(gòu)上。
一顆ISP芯片，其實(shí)就是一個SoC核心，內(nèi)部包含CPU、SUP IP、IF 等單元，可以運(yùn)行各種算法程序，實(shí)時處理圖像信號。盡管ISP芯片應(yīng)用范圍與CPU、GPU相差較大，且設(shè)計難度有數(shù)量級的差別，但I(xiàn)SP仍舊是一顆完整的SoC，能幫助工程師完成全流程的SoC流片測試與軟件配套工作。因此，更加簡單成本更低的ISP芯片就成為各廠商自研的起點(diǎn)。此外，ISP芯片的應(yīng)用場景較貼近用戶的日常使用范圍。畢竟日常使用很難用到一顆SoC的全部性能，但打開相機(jī)，按下快門的那一刻，用戶就能直觀的感知到芯片性能的強(qiáng)弱。
如今ISP芯片早已成為手機(jī)中及其重要的一部分，國產(chǎn)ISP芯片也早已脫胎消費(fèi)電子領(lǐng)域，在更廣闊的工業(yè)與汽車領(lǐng)域大展身手。本次華為Mate 60 Pro發(fā)布后風(fēng)光無限，所有人都將目光聚焦在CPU與GPU上，那顆自研的ISP模塊再一次成為了配角。
我們?yōu)槿A為自研芯片振奮的同時，ISP芯片完成國產(chǎn)替代帶給中國半導(dǎo)體行業(yè)的信心與自研SoC芯片的寶貴經(jīng)驗(yàn)更加彌足珍貴，簡單的一次更新讓華為影像系統(tǒng)覺醒，看似是驅(qū)動修復(fù)，背后是在重重阻礙下中國企業(yè)執(zhí)著堅定的信念和無數(shù)工程師不夜的努力付出。
下載ECAD模型
