NeRF (Neural Radiance Fields)

개인 공부용. 

chatgpt 검색 내용. 

 

📌 NeRF (Neural Radiance Fields) 핵심 정리

1️⃣ NeRF란?

NeRF (Neural Radiance Fields)는
👉 2D 이미지 여러 장을 이용해서 고품질 3D 장면을 복원하는 딥러닝 기반 기술이다.

• 제안: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
• 핵심: “공간 좌표 + 시점 방향 → 색상 + 밀도”를 신경망이 학습

---

2️⃣ 개념 구조 (한 줄 핵심)

👉 3D 공간을 함수로 표현한다

수식적으로 보면:

• 입력: (x, y, z, θ, φ)
• 출력: (RGB 색상, Density)

즉,

"이 위치에서 이 방향으로 보면 어떤 색이 보이는가?"

를 학습하는 모델

---

3️⃣ 동작 원리

✔️ 전체 흐름

1. 여러 각도에서 찍은 이미지 수집
2. 카메라 위치/방향 추정 (Pose estimation)
3. MLP(신경망)가 공간 함수 학습
4. Ray marching으로 이미지 렌더링

---

✔️ Ray 기반 렌더링 구조

8

• 픽셀마다 카메라에서 광선(ray)을 쏨
• 광선 위 여러 포인트 샘플링
• 각 포인트의 색 + 밀도 계산
• 누적 → 최종 픽셀 색 생성

👉 이 과정을 Volume Rendering이라고 함

---

4️⃣ 기존 방식 vs NeRF

구분기존 3D (SfM/MVS)NeRF

표현 방식	점/메쉬	연속 함수
결과	기하 구조 중심	사실적인 렌더링
장점	빠름	고품질
단점	텍스처 약함	학습 느림

👉 핵심 차이
➡️ 기존: “모양 복원”
➡️ NeRF: “빛까지 포함한 장면 복원”

---

5️⃣ 장점

✔ 매우 사실적인 뷰 합성
✔ 복잡한 반사/투명 효과 표현 가능
✔ 학습 후 임의 시점 생성 가능

👉 특히

• AR/VR
• 디지털 트윈
• 메타버스
  에서 핵심 기술

---

6️⃣ 단점 (현업에서 중요한 포인트)

❌ 학습 시간 길다 (수 시간 ~ 수십 시간)
❌ 실시간 처리 어려움
❌ 데이터 촬영 품질 의존
❌ 카메라 pose 정확도 중요

👉 그래서 실제 서비스에서는

• Instant-NGP
• Zip-NeRF
  같은 경량화/가속 모델 사용

---

7️⃣ 확장/응용 기술

🔹 주요 파생 기술

• Dynamic NeRF → 움직이는 객체 처리
• NeRF in the Wild → 조명 변화 대응
• Gaussian Splatting
  → 최근 실시간 대체 기술 (속도 ↑)

---

🔹 활용 사례

8

• 게임/메타버스 공간 생성
• 문화재 3D 복원
• 부동산/공간 스캔
• 자율주행 시뮬레이션

---

8️⃣ 한 줄 요약 (기술 면접용)

NeRF는 3D 공간을 신경망 함수로 표현하고, 광선 기반 렌더링을 통해 새로운 시점의 이미지를 생성하는 기술이다.