Intelligenza artificiale: in futuro gli smartphone scatteranno foto migliori delle fotocamere?

Qualche giorno fa mi sono imbattutto nell’interessante intervista realizzata da Hadlee Simons per Android Authority a Judd Heape, VP of product management for cameras di Qualcomm. Si parla di chip, ovviamente, e di quanto l’intelligenza artificiale implementata vada sempre più a svilupparsi rendendo possibili cose che prima non lo erano. Il discorso verte su quanto l’elaborazione dell’immagine sugli smartphone basata su AI riesca ora a riconoscere scene, predire movimenti, applicare sfocati. Ma anche di quanto questa intelligenza possa progredire in futuro, tanto da riuscire a sorpassare in termini di qualità uno strumento dedicato come una fotocamera. Heape parla di “DSLR”, ovvero di reflex. Forse non intende quindi tutte le fotocamere ma è giusto analizzare questa intervista ad ampio spettro.

Partiamo da due presupposti. Il primo: gli smartphone hanno una fetta di mercato sicuramente enorme se paragonata a quella delle fotocamere. Il secondo: è indubbio che gli smartphone stiano “suggerendo” alcune innovazioni e che le aziende di imaging le stiano pian piano implementando nei loro prodotti. Ora analizziamo quello che Simons ed Heape si sono detti. Il confronto non è chiaramente su “tutti” gli smartphone bensì solo sui top di gamma (quindi diciamo dai € 900 in su), unici a poter vantare un processore Snapdragon avanzato come l’8.1, ad ora il migliore mai prodotto da Qualcomm.

Che gli smartphone abbiano compiuto passi da gigante in termini tecnologici è al di sopra di ogni dubbio. Basti pensare anche solo agli ultimi 4 anni. In questo periodo l’AI si è affacciata sempre più all’interno dei processori e, se all’inizio risultava imprecisa nell’applicare le texture o non bilanciata cromaticamente, oggi questi problemi sembrano ormai dietro le spalle.

Per Heape le fasi di gestazione prima di arrivare all’intelligenza artificiale perfetta sono quattro e, ad ora, ne abbiamo solo viste tre. La prima è stata il riconoscimento della scena e l’identificazione del soggetto, analizzati non come unicum ma separatamente. La seconda fase è detta 3A, con funzioni di controllo come il sistema AF, il bilanciamento del bianco e l’esposizione. Quella che viviamo oggi sarebbe la terza, dove l’AI riesce a riconoscere la scena, i soggetti e regolare le impostazioni contemporaneamente; in sostanza quindi può sia riconosce un volto e regolarne l’esposizione e il tono della pelle o riconoscere una scena e suggerire una lunga esposizione. La quarta sarà quella che permetterà l’analisi dell’intera immagine, identificando nello stesso momento gli elementi riconosciuti singolarmente nella terza fase. Heap si sbilancia addirittura affermando che potrà fare una color correction specifica “copiandola” da un’immagine campione.

“Imagine a world from the future where you’d say ‘I want the picture to look like this National Geographic scene,’ and the AI engine would say ‘okay, I’m going to adjust the colors and the texture and the white balance and everything to look like and feel like this image you just showed me’.”

Judd Heape

Che l’AI sia ormai un aiuto importante lo hanno capito anche i produttori di fotocamere. Le top di gamma Mirrorless di oggi hanno quase tutte algoritmi predittivi limitati ai loro sistemi AF; un ulteriore implementazione potrebbe essere nella modalità automatica Program ma di certo non ancora in ambito color correction. Gli stessi ingegneri che si occupano del segmento foto degli smartphone il più delle volte decidono di affiancare ai chip classici anche quello dedicato all’elaborazione delle immagini. Penso a Huawei (Kirin), a Sony e a vivo (MariSilicon) che nei loro top di gamma hanno un ISP aggiuntivo con NPU che si occupa solo di quello. Perché? Perché la AI spesse volte “spara” i colori, troppo saturi e ricchi di contrasto per sorridere ad un pubblico più vasto e che vuole un risultato “alla Instagram”.

Ma per fortuna, qualcuno fa marcia indietro rischiando le insoddisfazioni del pubblico. Ad esempio in vivo X80 Pro, l’ultimo che ho provato, gli ingegneri di Zeiss hanno creato la funzione Zeiss Natural Color per far sì che l’immagine scattata sia il più fedele possibile a quello che percepiscono i nostri occhi e non a quello che solitamente vede lo smartphone. Degno di nota anche il lavoro fatto da Oppo su Find X5 Pro dove Hasselblad ha elaborato una funzione XPan con colori abbastanza desaturati. La stessa Apple dall’alba dei tempi si affida a Canon per la gestione del colore dei suoi iPhone. Sono segnali questi che ridimensionano un po’ il discorso sulla AI fatto da Heape.

“The processing in Snapdragon is 10 times better than what you can find on the biggest and baddest Nikon and Canon cameras. And that’s why we’re able to really push the barrier on image quality. Because even though we have a small lens and small image sensor, we’re doing many, many times more processing than what’s even capable in a DSLR.”

Judd Heape

Nonostante tutto secondo Heape siamo molto vicini a questa quarta fase e il sorpasso degli smartphone ai danni delle fotocamere potrebbe avvenire entro i prossimi cinque anni. Una visione abbastanza “aggressiva” e che, credo, non tenga conto anche di alcune limitazioni strutturali..quelle stesse limitazioni che, almeno in parte, costringono un processore Snapdragon ad eseguire “molti e molti più processi rispetto ad una DSLR”.

Un primo limite degli smartphone, come sappiamo, è il sensore. Sharp, Sony e Xiaomi stanno provando riuscire dove Panasonic aveva fallito con CM1 (più che altro a causa di una versione di Android troppo macchinosa): Aquos R, Xperia Pro I e 12S Ultra hanno superfici da 1″ e riescono a preservare il form factor da tasca dei device.

Sensore più piccolo, pixel più piccoli. E se i pixel sono più piccoli prendono meno luce. Andando indietro negli anni hanno avuto svariate risoluzioni, si è arrivati fino ai 100 Mpxl salvo poi comprendere che la qualità del file non era certo ottimale. Si è quindi virato verso le tecnologie Quad Bayer e Pixel Binning che col tempo sono diventate un buon escamotage per sopperire a questa condizione limite.

Ma i primi smartphone da 48 Mpxl (che con Pixel Binning fondevano 4 pixel assieme per averne uno più grande) non davano risultati eccellenti ed è per questo motivo che in molti hanno preferito stare sul classico taglio da 12 Mpxl, vedi Apple (fino a ieri) e Sony. Ora le cose sembra stiano cambiando e la qualità del Pixel Binning è rasente alla perfezione, quindi anche Apple ha deciso di abbracciarla. Ma solo sui top di gamma perché sui midrange o gli entry level si vedono ancora tante “magagne” quando si aprono i file su un monitor esterno.

Come si può notare dai grafici qui sopra, il miglior smartphone del 2019 non poteva ancora essere paragonato ad una compatta prestazionale ma entry level dello stesso anno. Huawei P30 Pro con sensore CMOS da 1/1.7” da 40 Mpxl con apertura f/1.6 e una focale equivalente ad un 27mm e Fujifilm XF10 con sensore APS-C da 24 Mpxl e obiettivo XF 18mm f/2.8 con focale equivalente ad un 28mm. Più linee per millimetro non necessariamente sottintendono migliore qualità del file, soprattutto se non accompagnato da un’ottima gestione del rumore.

E P30 Pro è stato un riferimento per il segmento smartphone per almeno tre anni filati. Merito anche di una piccola rivoluzione introdotta proprio con quel modello: una nuova struttura del sensore nel quale erano stati aggiunti due subpixel gialli. Sostituendo il filtro verde con il filtro bianco a pigmenti gialli si poteva migliorare la sensibilità dei fotoricettori e impedire un massiccio crosstalk, soluzione anche questa necessaria per massimizzare i risultati da pixel molto piccoli.

Ma appunto le cose sono cambiate, un top di gamma di oggi fornisce un risultato eccellente con la focale principale. Qui una comparazione tra vivo X80 Pro con sensore da 50 Mpxl e un obiettivo grandangolare equivalente ad un 26mm con apertura F1.57 e Nikon Z fc con sensore CMOS APS-C da 20.9 Mpxl e obiettivo Nikkor 28mm F2.8 SE.

Guardando questo ultimo grafico secondo me si può capire come, almeno in termini di qualità, per ora non siamo ancora sugli stessi livelli. Per quanto il processore lavori benissimo sul rumore o sulla risoluzione, i numeri pendono ovviamente dalla parte della fotocamera. Ciò vuol dire maggior risoluzione, maggior dettaglio, maggiore nitidezza. Ed è questione di pixel e dimensioni del sensore, un limite fisico che non può essere superato, almeno non ancora, da un chip.

E poi c’è anche da considerare la gamma dinamica. Sui device purtroppo non è ancora ottimale mentre su una fotocamera si arriva ai 15/16 stop ormai. E la profondità di campo? Anche arrivando ad 1″ non si avrà mai la qualità di un Full Frame figuriamoci di un Medio Formato.

Secondo limite, questo più importante, le ottiche. Recentemente la tecnologia permette di impilare negli smartphone fino a 7 microlenti, la prima delle quali solitamente in vetro. Chi abbraccia questo tipo di soluzione ottiene risultati abbastanza stupefacenti, come ad esempio (e mi tocca citarla un’altra volta) vivo con il suo X80 Pro. Zeiss, che ha coingegnerizzato il device, si è occupata attivamente dello sviluppo degli elementi ottici (con le Digital Twin) e la sua mano si vede. Tra l’altro, l’effort speso in questa partnership e il silenzio che ormai si protrae da anni verso il segmento fotografico professionale, fanno quasi intendere che Zeiss stia pian piano abracciando l’idea di lavorare solo con i produttori di smartphone. Ma anche Leica si è spesa molto sui dispositivi Huawei: le lenti erano sì prodotte da aziende cinesi ma prima di essere commercializzate dovevano passare un rigido controllo di qualità dell’azienda tedesca.

Purtroppo queste strutture sono riservate solo alla fotocamera principale dello smartphone; le altre devono accontentarsi, causa anche il poco spazio disponibile sotto la scocca, di strutture meno complesse e i risultati ne risentono. Sie le ottiche ultrawide che le ottiche tele non forniscono file di qualità né per definizione né per dettaglio né per nitidezza a prescindere dal lavoro della AI o del chip ISP dedicato che non possono certo (ad ora e con queste basi) fare miracoli. Il paragone con una vera ottica per Mirrorless o Reflex è impietoso. A meno che non si doti anche quella focale di un sensore più grande.

Se a 24mm equivalenti i risultati mostrati sopra sono soddisfacenti, non si può dire lo stesso a 16mm o a 70mm equivalenti. D’altronde se i vetri dei “veri” obiettivi hanno dimensioni considerevoli un motivo c’è. Un chip potrà sicuramente correggere la distorsione, cosa che ormai avviene anche nel segmento fotografico professionale dove è demandata al corpo macchina e non più all’ottica, ma difficilmente potrà sopperire a delle lenti di difficile fattura e, ad ora, di scarsa risolvenza.

Che un problema di qualità fossero anche le ottiche lo aveva capito Samsung anni orsono quando produsse la sua linea di Galaxy Zoom; l’ultimo, S4 Zoom, aveva un piccolo sensore da 16 Mpxl. Ma aveva anche dalla sua un obiettivo con vero zoom ottico equivalente ad un 24–240mm F3.1-6.3. Purtroppo però, come già era successo con le Galaxy Camera e le fotocamere NX (prodotti di grandissima qualità), non ha avuto voglia di aspettare ed ha abbondanato troppo frettolosamente il progetto. Ad averci creduto, non oso immaginare che tipo di Galaxy Zoom potremmo avere con la tecnologia di oggi.

Un indiscusso aiuto dal processore arriva invece in termini di sfocato. Sugli smartphone non è possibile montare ottiche con apertura variabile, quindi il bokeh è sempre digitale. Anche qui, nell’arco degli anni sono stati fatti passi da gigante: lo scontorno del soggetto rilevato in modalità Ritratto è ora davvero preciso se questo è un umano o un animale. E le coincidenze con le “vere” aperture da F2.8 in poi sono praticamente perfette; nel caso di vivo (di nuovo) ad esempio, gli ingegneri di Zeiss sono stati in grado di riprodurre digitalmente gli effetti degli obiettivi Biotar, Sonnar, Planar e Distagon..non male. Ma rimane il problema della profondità di campo.

Aspetto avulso che però merita menzione è sicuramente l’ambito di utilizzo. Se una fotocamera ha una certa dimensione, c’è sempre un perché. Con le Mirrorless si è cercato di miniaturizzare quanto possibile un corpo macchina ma le esigenze della professione vogliono altro. Ricordiamoci sempre che tutte le pubblicità dicono “questo video è fatto solo con lo smartphone xyz” ma in realtà vorrebbero dire “questo video è fatto con lo smartphone xyz e un rig con sopra questa ottica cine, questo display esterno, questi microfoni cablati ecc ecc”. Perché alla fine quello che può bastare per i social media o le piattaforme di condivisione non basta per altro.

“Ma durante la pandemia si facevano le copertine con le foto fatte con lo smartphone!” Certo, c’era il lockdown. Ma ora quante sono?

Mi rendo conto di essermi infilato in un ginepraio. È un discorso enorme, se ne potrebbe parlare per giorni e giorni, non basterebbe un TEDx. Qui ho cercato di affrontare solo aspetti a cui sono giunto nel corso del tempo provando “aggeggi vari” in prima persona.

Tutto questo “pippone” per dire che no, nonostante i nuovi chip con AI facciano prodezze non riescono ancora a fare miracoli quando i limiti sono fisici (sensore e ottiche) e non tecnologici. In cinque anni vedremo una grandissima rivoluzione? Ne sono sicuro. Ma non dipende solo da un processore bensì anche dal corpo macchina che lo ospita.