[Tecnologia e Futuro] La fotocamera, occhio dei nostri smartphone

fotocamera sensore
http://www.hardwaresecrets.com/wp-content/uploads/camerasensor.jpg

In queste settimane abbiamo disassemblato mentalmente i nostri smartphone e, in poco tempo, ci siamo avvicinati alla loro parte più intima. La strada per il SoC e gli altri chip presenti sulla mainboard, tuttavia, è ancora lunga e passa per l’analisi dei “sensi” dei nostri terminali, cioè di quei componenti che permettono ad ogni device di rilevare e registrare dati riguardo l’utente e l’ambiente circostante.

Questa settimana, in particolare, ci concentreremo sulla vista, il senso più complesso e potente di cui dispone l’essere umano. Oggi vi parleremo dunque delle tecnologie alla base del funzionamento della fotocamera, l’occhio digitale dei nostri smartphone che ci permette di conservare con semplicità l’immagine di quel che ci sta attorno.

Sony IMX214

L’articolo di giovedì prossimo, invece, sarà come al solito dedicato alle innovazioni che stanno già rivoluzionando questo componente (come la diffusione dei sistemi di stabilizzazione ottica e di messa a fuoco veloce) ed a quelle più esotiche che sono ancora lontane dall’essere pronte per il mercato mobile (come il light field).

L’apparato ottico

Spesso gli smartphone presenti sul mercato sono pubblicizzati per la presenza di un sensore dalla risoluzione elevata o di particolare qualità, ma quasi sempre il marketing dimentica di dedicare qualche parola all’apparato ottico che alimenta tale sensore. Se volessimo fare un paragone con l’occhio umano, questo approccio equivalerebbe a dare molta importanza alla retina trascurando il resto del bulbo oculare che, come sanno bene i portatori di occhiali, è spesso la causa di una visione non perfetta.

Attualmente esistono svariati sistemi di lenti brevettati per l’uso in ambito mobile, ma tutti questi apparati ottici hanno in comune l’uso di lenti asferiche (quasi sempre in plastica) e sono catalogabili in base alle loro caratteristiche ottiche. Per quanto possa essere complicato l’apparato, ad esempio, sarà sempre possibile definire la lunghezza focale, cioè la distanza tra il centro ottico del sistema di lenti ed il piano in cui l’immagine risulta messa a fuoco.

lunghezza focale
http://1.bp.blogspot.com/-5yBtQshMqfM/UBlWFa1_VrI/AAAAAAAAAU0/7i3zlafP6jw/s1600/12.jpg

Il fatto che esista questa lunghezza, tuttavia, non ci deve indurre a credere che sia possibile creare un obbiettivo che sia sempre a fuoco. La lunghezza focale, infatti, è calcolata rispetto ad un oggetto posto all’infinito, e non dice nulla sulla posizione di fuoco di un oggetto vicino.  Questo inconveniente è superato grazie all’uso di un VCM (voice coil motor), cioè di un minuscolo elettromagnete in grado di muovere una o più lenti del sistema per mantenere sempre a fuoco l’immagine sul sensore.

La lunghezza focale, invece, ha particolare importanza perché contribuisce a determinare l’angolo di campo, cioè l’estensione della scena che è possibile riprendere con la fotocamera. Un gruppo ottico in cui la diagonale del sensore è paragonabile alla lunghezza focale, in particolare, si dirà normale e mostrerà un angolo di campo simile a quello dell’occhio umano. Al diminuire della focale rispetto alla diagonale, invece, si avrà un campo sempre maggiore (grandangolo), mentre nel caso opposto si otterranno angoli particolarmente ristretti (teleobiettivo).

lunghezza focale
http://photographyelement.com/wp-content/uploads/focal-length.png

Altra caratteristica ottica degna di nota è l’apertura relativa, cioè il rapporto tra la lunghezza focale ed il diametro del foro che permette il passaggio della luce. Questa quantità, indicata graficamente come “f/numero” (numeri più bassi implicano aperture più elevate) è infatti legata alla quantità di luce che può raggiungere il sensore: a causa della natura circolare del foro, il flusso luminoso diventerà un quarto per ogni raddoppio del f-numero, e ad esempio un apertura di f/2 lascerà passare il doppio della luce di una f/2,8.

Apertura relativa
https://upload.wikimedia.org/wikipedia/commons/thumb/8/87/Aperture_diagram.svg/1024px-Aperture_diagram.svg.png

Affinché il sensore possa registrare una buona immagine, dunque, il sistema delle lenti deve essere studiato per garantire una buona messa a fuoco e per avere apertura elevata e lunghezza focale appropriata.  Sono spesso presenti, inoltre, alcuni filtri che limitano il passaggio delle frequenze non visibili, mentre è quasi sempre assente in ambito mobile il diaframma. Assolutamente indesiderate, infine, sono le aberrazioni ottiche che ridurrebbero drasticamente la qualità delle foto.

Il sensore

Immaginate di voler scattare una foto con il vostro smartphone: a voi sembrerà di premere solo un bottone, ma in realtà starete utilizzando un numero davvero elevato di principi fisici per ottenere il risultato voluto. Sfruttando il fatto che la luce sembra viaggiare più lentamente dentro le lenti (un concetto espresso numericamente dall’indice di rifrazione), ad esempio, devierete più volte i fotoni per raccoglierli e mettere l’immagine a fuoco su una superficie, ed ancora non sarete che all’inizio dell’opera!

Il vostro smartphone, infatti, non può gestire direttamente le informazioni trasportate dai fotoni, ma deve prima trasformarle in un segnale elettrico e, finalmente, in un insieme di numeri binari che può facilmente capire e memorizzare. La parte del modulo fotografico che si occupa di convertire i fotoni in segnali elettrici è il sensore, mentre l’elaborazione vera e propria dell’immagine avviene in un circuito usualmente integrato nel SoC, l’imaging signal processor (ISP).

fotocamera
http://media.digitalcameraworld.com/wp-content/uploads/sites/123/2012/08/Photography_cheat_sheet_digital_processing1.jpg

Attualmente il mondo dei sensori è dominato dalla tecnologia CMOS (Complementary Metal-Oxide Semiconductor) e da quella CCD (Charge Coupled Device), ma quest’ultima è quasi del tutto assente in ambito mobile a causa degli ingombri elevati, del consumo maggiore e dell’alto costo di produzione.

Entrambe le tecnologie, in ogni caso, si basano sull’utilizzo di una matrice di elementi fotosensibili, detti photosite. Nel caso della tecnologia CCD queste celle sono dei microscopici condensatori che si caricano se esposti alla luce, mentre nei CMOS sono dei fotodiodi che, se colpiti da un fotone, producono una differenza di potenziale.

dettaglio sensore
https://upload.wikimedia.org/wikipedia/commons/e/ef/A_micrograph_of_the_corner_of_the_photosensor_array_of_a_%E2%80%98webcam%E2%80%99.jpeg

In entrambi i casi, comunque, questi elementi sono sensibili a tutto lo spettro visibile e, quindi, non sono in grado di dare nativamente informazioni sul colore della luce che li ha attivati. Per risolvere questo problema la maggior parte degli attuali sensori commerciali utilizza un filtro Bayer, cioè delle piccolissime lenti colorate, per rendere ogni photosite sensibile ad uno solo dei colori fondamentali (Color Filter Array). Tramite interpolazione cromatica, poi, sarà possibile calcolare il colore corrispondente al singolo pixel.

Sin dalle origini della fotografia digitale si è diffusa l’abitudine di confondere il concetto di photosite, elemento fisico che spesso non è in grado di restituire da solo tutta l’informazione sulla luce incidente, con quello di pixel. Questa confusione è stata generata dal fatto che tutti i produttori dichiarano il numero di photosite esprimendolo (in maniera non del tutto lecita) in Megapixel.

bayer filtro
http://www.creativeplanetnetwork.com/sites/default/files/images/06Learn-DV101-Raw-4.jpg

Un sensore da 13 Megapixel come il Sony IMX214, quindi, sarà in realtà composto da una matrice di 4224 × 3200 photosite dei quali solo un quarto saranno sensibili al blu, un altro quarto al rosso ed i rimanenti al verde. Un caso a parte sono invece i sensori Foveon, i cui ogni photosite è in grado di registrare tutte le componenti dei colori e, di conseguenza, corrisponde pienamente ad un pixel (ne parleremo nel prossimo articolo).

Torniamo adesso al nostro sensore e vediamo come, a secondo della tecnologia, il percorso dei segnali elettrici generati dalla luce sia diverso. Nel caso dei CCD, in particolare, si utilizzano dei campi elettrici per spostare la carica del singolo condensatore verso quello adiacente, in maniera che i pacchetti di carica si spostino verso l’amplificatore e l’ADC (Analog to Digital Converter) esterno che li trasformi in un segnale binario.

ccd cmos
http://meroli.web.cern.ch/meroli/images/lecture_cmos_vs_ccd/ccd_cmos.jpg

Nel caso dei sensori CMOS, invece, tutti i photosite sono tra loro indipendenti e l’ADC è integrato direttamente sul chip. Ogni elemento sensibile, poi, dispone di un proprio circuito di amplificazione dedicato, che può essere posto sotto (backside illumination, BSI) o sopra (frontside illumination, FSI) il fotodiodo.

Per lungo tempo i sensori FSI sono stati i più diffusi ed utilizzati grazie ai minori costi di produzione, e solo recentemente la diffusione dei sistemi BSI è diventata realmente rilevante. I vantaggi teorici di quest’ultima soluzione sono evidenti: la distanza tra la lente colorata del CFA ed il fotodiodo è più piccola rispetto a quanto possibile con sistema FSI, e quindi a parità di condizioni esterne arriverà un flusso luminoso maggiore sulla superficie sensibile.

cmos bsi fsi
http://files.tested.com/uploads/0/1761/6641-sony_cmos_diagram.gif

Questo vantaggio è particolarmente evidente in caso di illuminazione scarsa o parziale, ed è decisivo per fotocamere dalla scarsa apertura come quelle che sono tipicamente ospitate dai nostri smartphone. Questo spiega il crescente successo registrato da questa tecnologia che, dopo essere stata adottata da tutti i principali produttori di sensori fotografici per il mondo mobile, grazie all’affinamento della produzione ed alla riduzione dei costi sta lentamente guadagnando terreno anche tra le fotocamere stand-alone.

Imaging Signal Processor, il cervello della fotocamera

Abbiamo visto, parlando del sensore, come questo in realtà consegni al nostro smartphone solo un insieme di dati grezzi (Raw) riguardo il mosaico di colori generato dal CFA, dati che sono ben lontani dal rappresentare direttamente gli oggetti che abbiamo inquadrato nell’obiettivo. Prima di poter conservare la foto, dunque, è necessario un ulteriore passaggio presso l’imaging signal processor (ISP), il circuito che si occupa del demosaicing, della scelta dei parametri di scatto e di correggere eventuali aberrazioni dovute a imperfezioni delle lenti.

diagramma blocchi fotocamera
http://images.anandtech.com/doci/6777/Frequencies%20Presentation.008.png

ll demosaicing, in particolare, consiste nello stimare le componenti di colore mancanti al singolo photosite mediando i valori degli elementi sensibili più vicini. Supponiamo ad esempio di avere un photosite con filtro verde: a questo mancheranno le componenti rosse e blu, che verranno calcolate utilizzando rispettivamente i photosite con filtro rosso e blu più vicini. L’insieme delle tre componenti di colore (una misurata e due stimate) sono dunque impacchettate nel pixel, che finalmente approssima il colore della luce che realmente ha colpito quel photosite.

L’ISP, a questo punto, interpreta l’immagine ricevuta dal modulo fotografico e ne corregge automaticamente i parametri per migliorarne la qualità. Il tempo di scatto e la sensibilità del sensore, ad esempio, saranno regolati per ottenere un’immagine ben esposta, dando priorità al primo o alla seconda in base alla tipologia di scatto impostata dall’utente. Per soggetti in movimento, quindi, si preferiranno tempi di esposizione brevi, mentre per immagini statiche e con cavalletto si punterà su sensibilità più basse.

esposizione
http://www.canon.it/Images/AT_Page_1_02_IT_tcm80-1082678.jpg

Ricordiamo, inoltre, che aumentare la sensibilità dei sensori fotografici digitali equivale ad amplificare per intero il segnale uscente dal fotodiodo, rumore di fondo incluso. Quest’ultima componente non è naturalmente desiderabile, rende molto più difficile il lavoro dell’ISP in condizioni di scarsa illuminazione e riduce la qualità delle foto.

Un altro parametro fondamentale, poi, e il bilanciamento dei colori e la scelta del punto di bianco. Queste impostazioni di solito sono scelte da un algoritmo proprietario (in questo ambito, così come per il demosaicing, i produttori sono molto gelosi delle proprie tecnologie) che stima il colore della luce incidente e, di conseguenza, aggiusta i parametri RGB dei pixel per produrre un’immagine più naturale o più vivida (a seconda del gusto del produttore e delle indicazioni dell’utente).

bilanciamento colore
http://www.xdcam-user.com/wp-content/uploads/2012/09/color-balance-sample-1.jpg

L’altro compito fondamentale che ogni ISP deve gestire, a questo punto, è l’autofocus, cioè il sistema di feedback che consente al piano di fuoco di coincidere sempre con il sensore. Il sistema di autofocus attualmente più diffuso in ambito mobile è quello a contrast detection, ma ultimamente si stanno diffondendo anche i sistemi a phase detection (PDAF).

Il primo, in particolare, si basa sull’idea che un’immagine a fuoco avrà inevitabilmente un contrasto più elevato rispetto ad una sfocata. L’ISP, dunque, muoverà il gruppo ottico del modulo fotografico per massimizzare il contrasto in una regione del sensore, che di solito è selezionabile direttamente dall’utente. Si tratta dunque di un sistema “a tentativi”, che non è particolarmente veloce ma è riconosciuto per l’ottima qualità della messa a fuoco.

pdaf
https://cdn.photographylife.com/wp-content/uploads/2012/07/Phase-Detection-Autofocus.png

Il PDAF, invece, consiste nel dividere otticamente una parte della luce entrante in due immagini identiche e nel misurarne lo sfasamento. Questo permette all’ISP di calcolare la direzione in cui muovere il sistema ottico per avvicinare il piano di messa a fuoco al sensore e, di conseguenza, consente di scattare ottime foto in poco tempo.

Gli attuali ISP, per concludere, si occupano tra le altre cose anche della compressione delle immagini in JPEG, della rimozione software del rumore, della stabilizzazione elettronica dell’immagine (che spesso consiste semplicemente nel ridurre i tempi di esposizione), della codifica dei video, del sistema HDR, dell’applicazione dei filtri (diventati ultimamente tanto di moda) e del face e smile detection.

Alcune di queste tecnologie saranno approfondite nel prossimo articolo di giovedì, insieme alle più innovative tecniche di auto focus (laser, infrarossi..), ai limiti della corsa alla risoluzione e, naturalmente, a tutte le tecnologie che in futuro potrebbero stravolgere il mondo della fotografia mobile!