Un team di ricercatori Apple ha sviluppato un nuovo framework per il rendering di scene 3D ad alta risoluzione noto come LGTM (Less Gaussians, Texture More). Questo framework risolve le inefficienze dei metodi di gaussian splatting 3D feed-forward esistenti che hanno difficoltà con le alte risoluzioni.
Con l’aumento della risoluzione, i tradizionali metodi feed-forward diventano proibitivi in termini di costi, ostacolando la fattibilità della generazione di scene 3D ad alta risoluzione. LGTM mira a migliorare le capacità dei sistemi esistenti separando la complessità geometrica dalla risoluzione del rendering, consentendo una geometria più semplice aggiungendo texture dettagliate.
Il framework LGTM si basa su metodi feed-forward precedentemente stabiliti sovrapponendo le previsioni delle texture su strutture geometriche. I ricercatori hanno addestrato il modello utilizzando immagini a bassa risoluzione convalidate rispetto a realtà terrestri ad alta risoluzione, garantendo che la geometria generata rimanesse accurata. Inoltre, una seconda rete focalizzata su texture dettagliate da immagini ad alta risoluzione consente al sistema di produrre risultati visivamente ricchi.
Questa innovazione potrebbe avere un impatto significativo sulle cuffie Apple Vision Pro, che presentano display per un totale di circa 23 milioni di pixel. Gli attuali metodi feed-forward devono affrontare limitazioni con risoluzioni così elevate, portando a colli di bottiglia computazionali durante la generazione di scene in modo rapido e accurato. LGTM potrebbe facilitare prestazioni più fluide e immagini più nitide nelle applicazioni che richiedono il rendering delle scene ad alta risoluzione.
Implementando LGTM, Apple può fornire agli utenti ambienti più coinvolgenti ed esperienze passthrough migliorate riducendo al contempo le esigenze di elaborazione. La pagina del progetto LGTM offre metodi dimostrativi come NoPoSplat, DepthSplat e Flash3D, mostrando risultati migliorati rispetto alle tecniche precedenti.
Video e immagini campione del progetto illustrano la capacità di LGTM di fornire dettagli più ricchi e risultati più vicini alle realtà reali ad alta risoluzione, dimostrando i suoi potenziali vantaggi nelle applicazioni pratiche.
