La maggior parte di noi ha tranquillamente ridotto i propri hobby legati al lockdown, ma il creatore di Internet Teigan Reamsbottom si alza ancora alle 4 del mattino per curare i classici video musicali della cultura pop del campo. Fa anche del suo meglio per migliorare la qualità video utilizzando un computer da gioco dedicato, ricco di RAM e una suite software che utilizza algoritmi di apprendimento automatico per preservare le caratteristiche originali delle clip.
In un mondo in cui i film possono scomparire a causa delle detrazioni fiscali e i supporti fisici possono scarseggiare, è rincuorante vedere gli artefatti della cultura pop portati alla luce, anche se ciò significa che nessuna celebrità degli anni ’80 o ’90 è al sicuro.
Allegato A: Al culmine di “Sex and the City”, un’intervista con Kim Cattrall in cui lei canta mentre il suo allora marito, Mark, suona il contrabbasso. La clip è presente da tempo su Internet (era già oggetto di una mostra alla galleria THNK1994 nel Lower East Side). È un ottimo esempio dell’occhio di Reamsbottom per il campo deliziosamente sconnesso e talvolta irritante di un mondo pre-TikTok. E in un certo settore di Internet, il suo ripristino è stato motivo di festa. Guarda di seguito la versione restaurata rispetto alla clip sfocata di cui siamo ossessionati da anni:
Tuttavia, l’upscaling del video – migliorandone la qualità in modo che una clip possa adattarsi ai nostri schermi ad alta risoluzione – è un processo pieno (e/o intrecciato) di sfide. L’acquisizione dei dati e la loro conversione richiedono molto lavoro e ciascun metodo lascia dietro di sé artefatti che influiscono sull’aspetto delle nuove immagini. Poiché i modelli di machine learning rimuovono il lavoro umano e il giudizio dall’equazione, questo pericolo aumenta.
Persino i trasferimenti professionali in 4K possono apparire aerografati o plasticosi, una versione inutilmente yassificata di qualcosa che sembrava perfettamente a posto nel suo formato originale. (Se sei arrivato fin qui in questo articolo, ecco il tuo PSA per assicurarti di aver disattivato il livellamento del movimento sulla tua TV.) Come ha notato Chris Person in The Aftermath riguardo alle insidie dell’upscaling video AI, “Perché trasferire un registrare correttamente quando invece possiamo semplicemente lasciare che sia un computer a indovinare?” »
Questo è essenzialmente ciò che fa il software video AI. Indovina dove inizia e finisce il viso di una persona, come si muovono le mani, come reagiscono la luce e l’umidità sulla pelle. Lo fa molto male, ma lo fa così tante volte che (si spera) alla fine si avvicinerà abbastanza ad avere generalmente ragione. Per Reamsbottom, questa è la soluzione migliore per pubblicare clip in cui il video originale non è disponibile e per il tipo di brevi momenti di campeggio che non attirano necessariamente l’attenzione delle case di restauro professionali.
Ha detto a IndieWire che si trattava di continui tentativi ed errori, bilanciando i diversi modelli di intelligenza artificiale disponibili e regolando la nitidezza e le ombre per evitare problemi che molto probabilmente avrebbero causato il fallimento dei programmi software. Come i denti.
“Poiché aumenta i dettagli sul viso, il modello AI aumenterà eccessivamente i dettagli sui denti e sarai in grado di vedere linee scure tra i singoli denti”, ha detto Reamsbottom. “Così io” Questo potrebbe sembrare un po’ spaventoso. A volte sembra che all’improvviso abbiano denti molto scuri perché mette in risalto ogni dente.
Reamsbottom deve giocare con la quantità di dettagli, cercando sempre di evitare, secondo le sue parole, di trasformare il soggetto del video in un personaggio Pixar. Bisogna anche considerare le sfide inerenti alle immagini stesse. “Recentemente ne ho fatto uno su Phyllis Diller, che è stato davvero difficile da migliorare perché il suo vestito era ricoperto di paillettes”, ha detto Reamsbottom. “Il suo viso poteva essere bellissimo, ma all’improvviso i brillantini non avevano più un bell’aspetto. Devi davvero giocare molto.
“Giocare” non basta per catturare il tempo che occorre. Reamsbottom ha affermato che realizzare un singolo passaggio su un video di 30 minuti può richiedere più di un giorno, anche con un computer dedicato all’upscaling. E l’apprendimento automatico non può rendere la rasterizzazione impeccabile.
“Devi avere qualcosa almeno di qualità media per trasformarlo in qualcosa di veramente bello”, ha detto. “Anche in questo caso può essere incerto, ma alcuni degli elementi di qualità molto bassa e molto pixelati con cui ho provato a lavorare? È difficile. I volti sono duri, i denti sono duri o, sai, può mancare un naso.
Sebbene ci siano funzionalità di editing generativo “AI” sui nuovi telefoni Samsung (e simili modelli di iPhone in arrivo) che sembrano funzionare molto più velocemente, essere in grado di rappresentare bene la realtà attraverso l’apprendimento approfondito dei modelli rimane una prerogativa delle persone che lavorano professionalmente con i video. e coloro che, come Reamsbottom, possono dedicare molto tempo e denaro a questo sforzo.
La richiesta di tempo può essere ancora elevata, ma gli strumenti per raggiungere questo obiettivo non sono costosi; Reamsbottom utilizza una suite software da $ 300 di Topaz Labs. E se fatto bene, i risultati possono essere incredibilmente gratificanti.
Reamsbottom ha lavorato con un archivio di nastri di Connie Francis, donati dalla famiglia di un fan che ha registrato un’enorme quantità di filmati della cantante pop. “Ci sono riprese di lui e riprese personali di Connie, e quando le vedi ingrandite, ti emoziona quasi perché è come se stessi sperimentando qualcosa per la prima volta”, ha detto Reamsbottom. “È magico quando ottieni il risultato finale e sembra estremamente chiaro. È come se fossi di nuovo lì.