I NeRF, acronimo di Neural Radiance Fields, sono una tecnica recente di computer vision per la creazione di scene 3D dettagliate e realistiche da un insieme di immagini 2D. In sostanza, un NeRF è una rete neurale profonda che viene addestrata a mappare le coordinate 3D di una scena in un colore e una densità di volume.
Questo approccio differisce dalle tecniche tradizionali di modellazione 3D e fotogrammetria, in quanto non cerca di creare un modello geometrico esplicito della scena. Piuttosto, apprende una rappresentazione implicita della scena che può essere utilizzata per renderizzare la scena da nuove angolazioni.
I NeRF sono particolarmente potenti per la creazione di scene 3D realistiche con illuminazione complessa e trasparenze, che possono essere difficili da catturare con le tecniche tradizionali. Tuttavia, la creazione di un NeRF richiede molta potenza di calcolo e può richiedere molto tempo. Inoltre, i modelli NeRF non sono generalmente utilizzabili per misurazioni precise o modellazione CAD, poiché non creano un modello geometrico esplicito della scena.[1]
Selezione delle Immagini
Come con la SfM, la creazione di un modello NeRF richiede un insieme di immagini della scena. Queste immagini dovrebbero coprire l'intera scena da varie angolazioni. A differenza della SfM, tuttavia, non è necessario un modello di camera preciso o metadati precisi sulla posizione della camera.
Caricamento delle Immagini
Le immagini selezionate devono essere caricate nel sistema (ad esempio, Luma AI o NeRF Studio). La maggior parte dei sistemi richiede che le immagini siano in un formato standard come JPEG o PNG.
Processamento delle Immagini
Una volta caricate le immagini, il sistema elabora le immagini utilizzando un algoritmo di apprendimento profondo. Questo processo può richiedere un po' di tempo, a seconda della potenza di calcolo disponibile e della complessità della scena.
Creazione del Modello
Il sistema crea un modello 3D della scena basato sulla rappresentazione appresa dalla rete neurale. Questo modello non è un modello geometrico preciso come quello che si otterrebbe con la SfM, ma piuttosto una rappresentazione tridimensionale che può essere renderizzata realisticamente da diverse angolazioni.
Visualizzazione del Modello
Una volta creato il modello, può essere visualizzato e navigato utilizzando il sistema. Alcuni sistemi possono anche permettere di esportare il modello in un formato standard per la visualizzazione 3D.
Ricorda che l'obiettivo principale dei modelli NeRF è la visualizzazione, non la misurazione. Non sono progettati per fornire un modello geometricamente accurato o misurabile della scena. Invece, sono pensati per creare una rappresentazione 3D visivamente convincente che può essere navigata interattivamente.
Bibliografia
Rilievo ed elaborazione modelli
- Chiavoni E., Filippa M. (a cura di). 2011. Metodologie integrate per il rilievo, il disegno e la modellazione dell’architettura e delle città. Roma: Gangemi editore, 266p. ISBN: 9788849294002
- Croce V., Caroti G., De Luca L. 2023. NEURAL RADIANCE FIELDS (NERF): REVIEW AND POTENTIAL APPLICATIONS TO DIGITAL CULTURAL HERITAGE. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, volume XLVIII-M-2-2023, pp. 453-460. DOI: 10.5194/isprs-archives-XLVIII-M-2-2023-453-2023
- Docci M., Ippolito A., Bianchini C. 2011. Contributi per una teoria del rilevamento architettonico. Disegnare idee immagini, n. 42, pp. 34-41. ISSN: 1123-9247
- Lerma J. L., Cabrelles M., Navarro S., Fabado S. 2013. From Digital Photography to Photogrammetry for Cultural Heritage Documentation and Dissemination. DisegnareCon, vol. 6, n. 12, pp. II 1-8. DOI: 10.6092/issn.1828-5961/3850.
- Martin-Brualla R., Radwan N., Sajjadi M., Barron J., Dosovitskiy A., Duckworth D. 2021. Nerf in the wild: Neural radiance fields for unconstrained photo collections. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2021, pp. pp. 7210-7219. DOI: 10.1109/cvpr46437.2021.00713
- Mildenhall B., Srinivasan P. P., Tancik M., Barron J. T., Ramamoorthi R., Ng R. 2021. Nerf: Representing scenes as neural radiance fields for view synthesis. Communications of the ACM, vol. 65, n. 1, pp. 99-106. DOI: 10.1145/3503250
Sitografia manualistica
Sitografia NeRF
https://github.com/awesome-NeRF/awesome-NeRF
Consultazione sitografia: luglio 2023