這些帶給我們美好體驗的產品原來是雙鏡頭技術造就的

源由:

手機照相能力之爭,重點在於解析度:由60萬、200萬、500萬、800萬一直鬥到千萬級以上,然後業界才發現手機 CMOS 的尺寸與解析度已經發展到了技術難以突破的地步。產業之間開始不斷的增加鏡片數目、也不斷的增大鏡頭光圈、不斷的增大CMOS面積、不斷的加入光學防手震等元件,直至連 iPhone 也有一個凸出鏡頭。

iPhone 5s與專業級的單眼相機(DSLR)相比,一般用戶開始不太在意手機與專業級相機照片的細微差距,手機公司為了與對手競爭,仍把相機元件提升,直至 iPhone 6 的「凸鏡頭」導致怨聲四起,業界才開始留意到:手機的空間已經不容我們無限量增加提升成像能力。

轉變:
照相機進入數位化的日子一直以來手機廠商重視的是「成像」不是「資料」,所以大家的關注點仍然是「光學」。直至 HDR (High Dynamic Range) 流行後,手機廠商才開始採用多重照片合成,來改善相片質素。蘋果在 2011 年的 iPhone 4s 開始自行研發自家的圖像信號處理器 (ISP, Image Signal Processor),在 iPhone 5s 發表會裡,蘋果展示 iPhone如何在一次的拍攝裡生成大量的照片,再合成最好的照片。當中的每一次光學成像,在處理器裡已經不再是單純的光學影像,而是資料和演算法。

雙鏡頭拍出來的不光是「成像」,而是「資料」。自手機進入智慧化時代開始,開發者就不斷為手機鏡頭加入「拍照」以外的新功能:很多App會把手機鏡頭當作二維條碼掃描器、文件辨識器,也有手機APP能把鏡頭用作測距,或是把鏡頭作為 AR 應用。

技術:
從硬體來看,雙鏡頭拍出來的成像,就是兩張不同質素的照片,單獨看起來意義不大。但如何發揮雙鏡頭的優勢,關鍵已經不單單是光學,而是合成演算法,未來手機鏡頭將會步入新的時代:影像演算法和人工智慧。雙鏡頭運算,主要以兩種方式為主,一是雙目「疊加」,二是雙目「視差」。手機的雙鏡頭運算,目前主要以「疊加」來增強攝影功能。HTC One和iPhone7一樣,讓手機在沒有變得更厚的情況下,把兩個影像資料對比,然後進行像素疊加,借此達至無損/低損的數位變焦功能。

華為在雙鏡頭的處理則有點不同:它們以一個黑白、一個彩色的鏡頭組合,利用黑白感測器有更佳光線感應能力的優勢,再把彩色鏡頭的色彩訊息疊加,借此取得更好的低光源拍攝能力。不過,兩者都可以把不同焦距的效果疊加,然後讓用戶能在後期調整景深。

非手機裝置的雙鏡頭運算,是以「視差」來測距,借此進行 3D 建模。目前的體感遊戲裝置、VR 裝置、無人機和無人駕駛汽車的自動避障功能,均過雙鏡頭攝影機透過鏡頭之間的距離,使影像出現「視差」,然後再把兩個不同的影像資料對比,用三角算法計算出鏡頭與對像之間的距離,並即時繪畫立體影像,以算出虛擬影像、或計劃安全的行駛路線。

「雙目疊加」
雙鏡頭的兩個影像的差距愈少愈好,系統才能更準確的把影像無瑕疊加,兩個鏡頭必須儘量靠攏在一起。

「雙目視差」
VR/AR 所用的雙目視差,兩個影像必須有足夠差距,兩者之間的夾角才能增加,運算精度才能提高,所以兩個鏡頭之間的距離必須愈遠愈好。

使用雙目視差來進行 3D 建模,所需要的計算能力遠遠比影像疊加要高。大 疆 Phantom 4 就以專門的 FPGA 來進行雙目運算,而 HTC Vive 更需要高階桌機推動,而坊間大部份的無人駕駛汽車也要使用專門圖像處理器來計算。但以目前手機晶片的處理速度和手機的續航力來 說,根本不足以進行 3D 建模。

應用:
1.雙鏡頭相機可以測距,所以可以做距離相關的應用

由於雙鏡頭相機通過演算法,可以判斷被攝物體的距離,所以通過此特性,很容易做出一些特效,如:

A: 背景虛化
單眼相機最出眾的特色之一就是大光圈。由於雙鏡頭相機可以測出不同被拍攝物體的距離,對需要進行大光圈的物體對準,其他不同距離的物體虛化,可以輕鬆實現大光圈的效果。

B: 背景替換
由於可以測量距離,可以將被拍攝物體裡的主體提取出來,更換背景,就可以比PS還簡單,進行摳圖。

C: 背景特效
既然可以摳圖,只是對背景做一下處理,還是很容易的。比如,此圖就用了素描特效。

 

2. 雙鏡頭相機 可以做光學變焦,放大圖片後,文字依然清楚
若兩個相機的FOV不一樣,一個大FOV,一個小FOV,再通過演算法實現兩個光學鏡頭之間的效果,就可以輕鬆做到光學變焦。融合廣角的圖和長焦的圖,通過演算法算出了中間態度照片,讓細節不失真,放大圖片後,文字依然清楚。

3. 暗光效果增強
這個一般使用彩色+黑白的鏡頭。通過黑白鏡頭,獲取圖片的光亮強度,來對圖片暗光補償。

4. 3D拍攝以及3D建模
不同於一般的3D電影(視差技術)的拍攝。手機上的兩個鏡頭(疊加技術)無法在影像的拍攝過程中就產生足夠的視覺差,這是由於兩個鏡頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯的得到3D視覺效果。所以往往需要演算法進行增強。由於可以測出距離,後續的雙鏡頭相機不僅僅可以實現3D攝影,還可以進行3D建模。

相關廠商:

雙鏡頭相機演算法供應商
演算法是需要跟ISP配合的,想把演算法做好,也得有好的ISP。高通/聯發科做為主平台供應商,都有自己的ISP,也自己開發了雙鏡頭相機演算法。其演算法好壞,有待市場的檢驗。

Apple去年收購以色列的Linx,也擁有了多鏡頭的專利和演算法。

台灣的華晶科,主要開發獨立的ISP晶片。部分高階手機,相機,和車載都有用其ISP的案例。雙鏡頭相機手機也有用其ISP的。距離應用,光學變焦和暗光補償都有所建樹。

以色列公司Core|photonics, 其演算法的優勢主要在光學變焦和暗光補償上。景深方面,也有一定的研究。從媒體宣傳來看,hTC有機型採用了其演算法。

Arcsoft虹軟成立於1994年,總部在美國,在上海,杭州和南京都有技術中心。虹軟的強項是光學變焦和暗光補償。

上海興芯微是一家成立於2011年的公司,主要從事影像處理器的研發,目前產品主要應用在車載市場。做為為數不多的研發獨立ISP的公司,目前也在開發雙鏡頭相機的演算法和ISP。在雙鏡頭相機市場起來後,X-Chip將會是一匹非常有潛力的黑馬。

雙鏡頭相機 sensor供應商:Sony、Samsung、OV、格科微
雙鏡頭相機在拍照的時候,需要兩個相機同步時間標記,這就需要相機 Sensor就得有同步信號。

雙鏡頭相機 模組供應商:光寶、舜宇、信利、Namuga、O-Film、三星機電、丘鈦
有量產經驗的主要是光寶,舜宇和信利。華為的機型主要是用光寶和舜宇的模組。而O-Film和三星機電憑藉其強大的工廠能力,現在也大舉進軍雙鏡頭相機模組領域。 Namuga則是跟各演算法公司保持良好的溝通關係,並為三星手機的供應商,也逐漸在雙鏡頭相機模組領域發力。

未來:
iPhone不是第一個使用雙鏡頭的手機,但由於蘋果的產量優勢和影響力,往往會把還未能量產、或成本太高的新技術,透過大量生產的方式來降低售價,這些零件才能得以普及,促使整個產業跟進。

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s