자율주행기술이 빠른 속도로 발전하면서 정밀도가 높고 진실도가 높은 시뮬레이션 시라리오 구축은 핵심 과제가 되었다. 3D Gaussian Splatting（3DGS）은 효율적인 렘더링과 생생한 장면 재현 능력을 바탕으로 3차원 재구성과 시뮬레이션 분야의 초점이 되었다. 하지만 실제적인 응용 과정에서 다중 소스 이기종 데이터를 어떻게 효율적으로 3DGS 시나리오로 전환하고 시나리오와 실제 환경 간의 일관성을 어떻게 보장해야 하는 것은 업계의 난제가 되었다.
3DGS를 자율주행 시뮬레이션 실제 적용에서 나타나는 핵심 문제점을 해결하기 위해 aiSim은 원시 데이터 표준화부터 고신뢰성 시뮬레이션 검증까지 아우르는 토탈 솔루션을 제공한다. aiData 도구 체인을 통해 다중 소스 데이터의 체계적인 통합 및 관리를 지원하고, 독자적인 알고리즘 조합으로 사실감 높은 시나리오를 구현한다. 또한, GGSR 레더러로 ‘고효율 + 고사실도’ 렌더링의 클로즈루프를 실현하며, 폭우, 야간 등 다양한 환경을 자유롭게 설정할 수 있다. 이와 더불어, 다중 모드 센서 시뮬레이션, 가상 교통 흐름, 그리고 자율주행의 극한 테스트 시나리오까지 완벽하게 지원한다.
01 3DGS 핵심 기술 분석
3DGS 는 3차원 가우시안 분포에 기반한 3D 장면 표현 방식이다. 이 기술의 핵심은 장면 중에서의 개체를 여러 개의 3D 가우시안 점으로 변환하는 데 있다. 각 가우시안 점은 위치, 공분산 행렬, 불투명도 등 핵심 정보를 포함하는 풍부한 정보를 지닌 ‘데이터 캡슐’과 같다. 이를 통해 복잡한 장면의 기하학적 형상과 조명 특성을 정교하게 재현한다.
사진1：이산적으로 분포된 일군의 가우시안 점（좌） 일련의 가우시안 점으로 구성된 3차원 장면（우）
구축 프로세스 측면에서 볼 때 3DGS는 먼저 SfM(Structure from Motion) 기술을 활용하여 데이터 전처리를 수행한다. 이 기술은 다중 시점 이미지 분석을 통해 카메라 위치를 보정하고 내외부 파라미터를 정밀하게 복원함으로써 희소 포인트 클라우드(Sparse Point Cloud)를 생성해 후속의 장면 구축을 위한 기초 프레임을 구축한다. 이러한 희소 포인트 클라우드를 바탕으로 각 가우시안 점의 위치, 공분산 행렬, 불투명도 등 초기값이 설정된 3D 가우시안 점들이 초기화된다.
사진2：3DGS 프로세스
훈련 단계에서 3DGS는 지속적으로 가우시안 포인트의 위치, 형태, 불투명도를 미세하게 조정한다. 3DGS는 혁신적으로 적응형 밀도 제어 전략을 채택하여, 각 역전파(backpropagation) 후 장면 표현에 기여도가 낮은 불필요한 가우시안 포인트를 제거하고, 장면 세부 사항의 필요에 따라 가우시안 포인트를 분할(splitting) 또는 복제(cloning)하는 작업을 수행한다.
기존의 신경 방사장(NeRF) 방식과 비교할 때, 3DGS가 강점을 뚜렷이 보여준다. NeRF는 높은 사실감을 지닌 연속적이고 입체적인 장면을 구성할 수 있으며, 공간 좌표에서 이미지 색상 및 밀도로의 직접적인 매핑을 구현하지만 계산 부하가 매우 높다는 문제가 있다. 단일 장면 구축에는 일반적으로 많은 컴퓨팅 자원과 시간 비용이 소요되며, 특히 고해상도 출력을 추구할 때 이 문제는 더욱 두드러진다.
또한 NeRF는 편집성이 낮아서 단일 장면에 대한 어떠한 수정도 전체 파이프라인의 재학습을 의미한다. 반면, 3DGS는 명시적 모델링 방법을 통해 기존 신경망 학습의 높은 계산 부담을 효과적으로 우회하여 학습 속도가 크게 향상되었고, 렌더링 효율도 더욱 높아졌다. 동시에 3D 가우시안 포인트는 장면의 세부 요소를 모두 포착해 고정밀 3D 재구현을 가능하게 하며, 실시간 렌더링도 지원한다.
사진3：NeRF와 3DGS의 차별화된 구현 과정
하지만 3DGS는 완벽한 기술은 아니다. 매우 복잡한 3차원 장면을 다룰 때 모든 디테일을 정확하게 재현하기 위해 엄청난 수의 가우시안 점이 필요할 수 있으며, 이는 계산 부담과 메모리 사용량을 크게 증가시킨다. 또한 현재 3DGS의 응용은 주로 정적 장면 재구성에 집중되어 있어, 동적 장면에서의 물체 변화를 효율적이고 정확하게 처리하여 실시간으로 물체의 위치, 형태, 운동 궤적 등의 정보를 반영하는 것은 여전히 연구자와 엔지니어들이 해결해야 할 기술적 난제로 남아 있다.
Kvaser Memorator Professional 5xHS
두 번째 제품은 Kvaser 의 레코더 ‘Kvaser Memorator Professional 5xHS’입니다. 이 제품은 앞서 소개한 분석기(인터페이스 카드)의 기 능도 수행할 수 있을 뿐만 아니라, 컴퓨터와 연결 없이 독립적인데이터 기록 장치로도 사될 수 있어 이전 제품과 비슷해 보입니 다.
또한 레코더(오프라인) 모드에서는 t-language 로 개발한 프로그램 을 레코더에 탑재하여 독립적으로 CAN 노드의 기능을 수행하게 할 수 있습니다. 이처럼 임시 게이트웨이 역할을 하도록 만들 수도 있 으니 편리하지 않을까요?
- 채널 수: 5 개의 CAN(FD) 채널 동시 지원
- MagiSync 동기화: 여러 장치 간의 자동 클럭 동기화
- 스크립트 기능: t-language 를 통한 맞춤형 프로그램 개발
- 호환성: J1939, CANopen, NMEA 2000, DeviceNet 등 호환
- 작동 온도: -40 ~ 85°C
02 aiSim으로 기반으로 한 3DGS 솔루션 전체 프로세스
원시 데이터 입력 및 표준화
다중 소스 센서 데이터 수집을 시작으로, 카메라, 라이다, 차량 운동 센서를 통해 실제 도로의 이미지, 포인트 클라우드 데이터, 위치 및 자세 데이터를 포착한다. 이러한 데이터의 형식, 정확도, 타임스탬프 이기종 문제에 대응하기 위해 aiData 도구 체인은 표준화 알고리즘을 통해 제3자 데이터를 통일된 형식으로 변환함으로써 포인트 클라우드 데이터, 이미지, 교정 정보가 상호 협력하고 후속 처리 작업이 올바르게 실행되도록 보장한다.
3D 장면 전처리
링주로 3D 자동 라벨링 2D 시맨틱 세그멘테이션, 카메라 포즈 최적화의 세 부분으로 나뉜다：
⇒ 3D 자동 라벨링
aiData 툴 체인에서 3D 자동 라벨링은 멀티모달 데이터와 알고리즘 포로세스를 기반으로 구현된다. 이미지, 포인트 클라우드, 밀리미터파를 다차원 입력으로 활용하며, 핵심 알고리즘 모듈인 Super MS2N이 각 모달리티의 특징을 통합하여 3D 객체를 정확하게 식별하고 라벨링 박스를 생성한다. 이를 통해 객체의 경계와 카테고리를 명확히 정의한 후, 비인과적 추적(Non-causal Tracking) 모듈을 통해 프레임 간 연관성을 분석하고 궤적을 최적화하여 라벨링 오류를 수정한다. 최종적으로 고정밀 GT(Ground Truth) 데이터를 출력하여 3DGS 장면에 정확한 의미론적 연관성을 부여한다.
사진4：해홍 자동화 레벨링 프로세스
⇒ 2D 시맨틱 세그멘테이션
이미지 데이터를 대상으로 한 세그먼트 마스크 생성 및 3D 장면 디테일 최적화 지원
⇒카메라 포즈 최적화
센서로부터 수집된 포즈 데이터를 보정 및 최적화하여, 3D 재구성 시 공간 좌표의 정확성을 확보하고 정밀한 포즈 정보를 출력한다.
3DGS 장면 재구성
사전 처리된 ‘클린 데이터’를 기반으로, aiSim은 신경망 재구성 프로세스를 시작한다. 이 과정에서는 NeRF의 기하학적 일반화 능력과 3DGS의 실시간 렌더링 특성을 결합하여, 다중 모달 정보 전달 메커니즘(T-S 구조)을 구축한다. 즉, NeRF가 학습한 심도, 법선, 외관 등의 감독 신호를 다중 모달 데이터 공동 훈련(LiDAR 심도 제약 조건 도입)을 통해, 3DGS의 가우시안 파라미터 최적화로 이전하는 방식이다. 최종적으로 이산 포인트 클라우드와 이미지 데이터는 연속적인 3D 가우시안 장면 표현으로 변환되어 ‘실제 장면 → 디지털 트윈’으로의 효율적인 매핑을 실현한다.
사진5：장면 재구성 모델 도표
이 핵심 단계에서 T-S 구조는 NeRF가 이미지 데이터를 처리하며 학습한 심도, 법선, 외관과 같은 주요 감독 신호를 3DGS 모델로 원활하게 전달하는 핵심적인 가교 역할을 한다. 이와 동시에 LiDAR 심도 제약 조건을 도입하여 기하학적 모델링의 정확도를 한층 더 높였다. LiDAR가 제공하는 정밀한 심도 정보는 강력한 제약 조건으로서 다중 모달 데이터의 공동 훈련 과정에 참여하며, 3DGS가 가우시안 점의 위치, 공분산 행렬 등의 파라미터를 더욱 정확하게 최적화하도록 돕습니다. 그 결과, 실제 장면과 높은 수준으로 일치하는 3D 가우시안 장면이 구축된다.
이러한 처리 과정을 거쳐, 기존의 이산적이고 무질서했던 포인트 클라우드 및 이미지 데이터는 연속적이고 사실적인 3D 가우시안 장면 표현으로 성공적으로 변환된다. 이를 통해 현실 세계에서 디지털 트윈 세계로의 효율적이고 정밀한 매핑이 실현되며, 향후 장면 편집 및 시뮬레이션 응용 프로그램을 위한 질 높은 기초 장면을 제공한다.
재구성된 장면의 일관성을 검증하기 위해 aiSim은 DEVIANT 알고리즘과 Mask2Former 알고리즘을 도입하여 이중 점검 체계를 구축한다.이 중 DEVIANT 알고리즘은 기하학적 정확도에 초점을 맞춥니다. 모노cular 3D 물체 감지 논리를 시뮬레이션하는 방식으로 재구성된 장면 내 차량, 보행자 등의 대상 물체의 심도, 위치, 크기를 검증한다. 또한, 이 알고리즘의 심도 등변성(프로젝션 매니폴드에서의 심도 평행 이동, tz,에 대한 정밀한 제약)을 활용하여, 3D 가우시안 장면 속 물체의 기하학적 파라미터가 실제 장면과 일치하는지를 확인함으로써, 심도 추정 편차로 인해 발생할 수 있는 물체의 위치 드리프트(drift) 또는 변형을 방지한다.
사진6：DEVIANT알고리즘 기반으로 하여 3D목표 검증 실행
검증 결과, 해당 모델은 재구성된 모델과 메시 기반 렌더링 엔진이 렌더링한 차량을 성공적으로 감지해냈으며, 이는 명확한 도메인 간의 차이가 발생하지 않았음을 보여주었다. 이 과정에서 먼 거리의 물체가 식별되지 못한 것은 모델 자체의 한계(감지 범위가 50미터 미만) 때문으로 나타났다.
Mask2Former 알고리즘은 픽셀 일관성에 중점을 둔다. 이미지 시맨틱 세그멘테이션 관점에서, 재구성된 장면의 렌더링 이미지와 실제 장면 이미지를 Mask2Former에 입력하여, 도로, 식생, 건물과 같은 영역의 픽셀 단위 주석을 비교한다. 교차 어텐션(cross-attention)을 통해 세부한 특징을 추출하고, 이로써 장면 내의 질감, 경계, 의미론적 영역의 복원도를 검증함으로써, 가상 환경이 실제 환경과 시각적 세부 사항 및 의미 이해 측면에서 높은 수준으로 일치하도록 보장한다.
사진7：Mask2Former를 기반하여 합성 데이터와 실제 데이터 간의 측정 격차
여기서 녹색 영역은 두 모델 모두가 탐지한 ‘car’ 카테고리 영역, 파란색 영역은 공개 모델만이 탐지한 ‘car’ 카테고리 영역, 노란색 영역은 aiSim 모델만이 탐지한 ‘car’ 카테고리 영역을 각각 나타낸다.
검증 결과를 통해 알 수 있듯이, 원본 궤적 시나리오에서는 도로 및 양측의 보이는 차량이 모두 녹색 영역으로 덮여 있어, 모델은 차폐물 없이 정상적인 시야에서 안정적으로 차량을 감지한다. 극단적인 새로운 시점(3미터 오프셋) 시나리오에서는 시점 변화로 인해 일부 환경 요소(예: 왼쪽 쓰레기통 등 새로운 물체)가 추가되었음에도 불구하고, 차량에 대한 녹색 감지 영역은 여전히 잘 유지되어, 모델의 시점 편향 상황에 대한 적응성을 입증한다. 또한, 대부분의 노란색 ‘오차’는 공개 모델이 목표 경계를 과도하게 확장(dilated)하여 예측하기 때문에 발생하며, 파란색 영역은 보통 차량이 부분적으로 가려지거나 거리가 멀어 aiSim이 인식하지 못할 때 나타났다.
DEVIANT 알고리즘과 Mask2Former 알고리즘의 협력 검증을 통해, aiSim의 3DGS 재구성 시나리오는 물체의 기하학적 위치, 형태, 그리고 픽셀 단위의 색상 및 질감 등 모든 측면에서 실제 환경과 높은 일치성을 보였다. 이는 진정으로 ‘형태와 본질을 모두 갖춘’ 수준에 도달했으며, 자율주행 시스템 테스트를 위한 매우 사실적이고 신뢰할 수 있는 시나리오 환경을 제공했다.
시나리오 편집 및 시뮬레이션 폐루프(Closed-loop)
aiSim의 시나리오 편집 도구는 사용자에게 강력한 맞춤화 기능을 제공한다. 사용자는 3DGS로 재구성된 기본 시나리오 위에 가상 교통 흐름을 유연하게 추가하고, 다양한 유형의 차량에 대한 주행 경로, 속도, 밀도 등의 파라미터를 설정하여 복잡한 도시 교통이나 원활한 고속도로 교통과 같은 다양한 상황을 시뮬레이션할 수 있다. 또한, 폭우가 쏟아질 때 노면의 물웅덩이 반사, 눈보라 날씨에서의 가시거리 감소, 야간 조명 효과 등 극단적인 기상을 시뮬레이션함으로써 자율주행 시스템 테스트를 위한 더욱 도전적이고 사실적인 환경을 제공한다.
더 나아가, 다중 모드(multi-modal) 센서를 배치하여 다양한 시나리오에서 각기 다른 센서의 데이터 수집 상황을 시뮬레이션할 수 있다. 이를 통해 자율주행 시스템의 다중 소스 데이터 융합 및 처리 능력을 종합적으로 테스트하며, 단일 실제 시나리오의 응용 가치를 크게 확장하고, 자율주행 알고리즘 최적화를 위한 풍부하고 다양한 테스트 조건을 제공한다.
사진8：aiSim의 동적 교통 행위자 추가 시나리오（좌）aiSim의 기상 환경 시뮬레이션 시나리오（우）
aiSim이 새롭게 구축한 GGSR(General Gaussian Splatting Renderer, 일반 가우스 스플래팅 렌더러)는 고품질 렌더링을 실현하는 핵심 구성 요소이다. 이 렌더러는 기존 방식에서 광각 렌즈 렌더링 효과가 떨어지는 문제를 개선하기 위해 심층적으로 최적화되었으며, 광각 렌즈 렌더링 시의 일관성을 효과적으로 강화한다. 더 큰 FOV(시야각)를 가진 렌즈를 처리할 때, 알고리즘 프로세스를 최적화함으로써 근사 오차를 현저히 줄이고 이미지 왜곡, 흐림 등의 문제를 방지하여, 렌더링된 이미지가 광각 시점에서도 여전히 선명하고 정확하게 표현되도록 한다. 또한, 이 렌더러는 복잡한 도시 거리든 탁 트인 고속도로 장면이든, 아티팩트(Artifact) 발생을 효과적으로 줄여 높은 품질의 3DGS 재구성 시나리오 렌더링을 구현한다.
또한, aiSim은 렌더링 프로세스에서 임의의 카메라 왜곡 모델을 지원한다. 이를 통해 다양한 카메라의 특성에 맞춰 렌더링 과정을 정밀하게 조정할 수 있으므로, 시뮬레이션 데이터는 색상, 밝기, 명암비, 그리고 왜곡 보정 등의 측면에서 실제 센서의 출력과 매우 유사하게 구현된다. 나아가, 공유 코드 라이브러리(shared code library)에 기반한 광선-가우스 상호작용 로직(ray-Gaussian interaction logic)을 활용하여, 라이다(LiDAR) 빔과 장면 내 가우스 점 간의 충돌 및 반사를 더욱 사실적으로 계산한다. 이는 자율주행 시스템의 기능 테스트와 한계 상황 검증에 매우 신뢰도 높은 데이터를 제공하며, 데이터 수집부터 시나리오 재구성, 그리고 시뮬레이션 검증에 이르는 완전한 폐루프를 성공적으로 구축했다.
사진9：GGSR렌더링 효과
사진10：렌던링 파이프라인 개요
03 aiSim 3DGS 솔루션의 가치 폐루프
aiSim의 3DGS 솔루션은 전 과정에 걸친 기술 혁신을 통해 ‘데이터 표준화 – 고품질 시나리오 구현 – 포괄적인 시뮬레이션‘이라는 가치 폐루프를 구축하며, 3DGS 기술의 잠재력을 실용적인 공학적 응용으로 전환하는 길을 열었다.
핵심 문제 해결 관점을 봤을 때 이 솔루션은 aiData 도구 체인을 통해 다중 소스 데이터가 유기적으로 협력하게 함으로써, 3DGS 입력 데이터의 ‘조각화’라는 난제를 해결했다. 또한 T-S 구조로 NeRF와 3DGS의 장점을 결합하고 LiDAR 심도 제약 조건을 더해, 시나리오의 기하학적 구조와 외관을 정밀하게 재구성한다. 여기에 DEVIANT 알고리즘(기하학적 정밀도 검증)과 Mask2Former 알고리즘(픽셀 단위 의미론적 정렬)의 이중 검증을 거쳐, 재구성된 시나리오가 실제 환경과 ‘형태와 본질 모두에서 일치’하도록 보장한다. 동시에 GGSR(일반 가우스 스플래팅) 렌더러를 기반으로 효율적인 렌더링과 높은 품질 요구 사항 사이의 균형을 맞춤으로써, 3DGS 기술이 자율주행 시뮬레이션의 까다로운 기준에 완벽하게 부합하도록 만들었다.
응용 가치 관점을 봤을 때 이 솔루션은 단순히 실제 시나리오를 디지털 트윈(digital twin)으로 효율적으로 매핑하는 것을 넘어, 시나리오 편집 도구를 통해 극한 기상, 가상 교통 흐름, 다중 모드 센서 등을 유연하게 구성할 수 있도록 지원하여, 하나의 기본 시나리오로부터 다양한 테스트 상황을 파생시킨다. 이러한 ‘데이터-시나리오-테스트’의 폐루프 역량은 실제 도로 주행 테스트에 대한 의존도를 낮추는 동시에, 자율주행 알고리즘의 반복적 개발(iteration)을 위한 신뢰도 높은 시뮬레이션 환경을 제공한다.
