AI는 언어(Transformer)에서 시각(Diffusion)으로 발전해 왔습니다. kai는 그 다음 단계를 '시뮬레이션 지능(Simulation Intelligence)'으로 정의하고, 물리적 공간과 상호작용하며 미래를 예측하는 AI 모델을 연구합니다.
생성형 AI는 창의적이지만 통제가 어렵고, 전통 3D CGI는 정교하지만 비용과 시간이 많이 듭니다. XD Hybrid는 두 세계의 장점만을 결합해 '통제 가능한 AI 콘텐츠 생산(Controllable AI Production)'을 실현합니다.
LLM 기반 분석 모듈이 캐릭터와 상황을 자동으로 묘사하고 컷을 분할합니다.
애니메이션 제작을 영화 촬영장의 감각으로 다루는 저작 도구.
시나리오 정보와 캐릭터의 외형·감정을 데이터화하여 어떤 환경에서도 일관된 결과물을 유지합니다.
이미지·비디오·텍스트·음성 입력으로부터 정교한 3D 객체와 공간을 생성하고 편집하는 AI 기술입니다. 공간을 담는 그릇으로 3D Gaussian Splatting(3DGS)을 택했습니다.
3DGS는 공간을 폴리곤 메쉬가 아니라 수백만 개의 3차원 가우시안 — 위치·색·투명도·형태를 가진 반투명한 입자 — 로 표현합니다. 여러 시점의 사진만으로 학습되고, 촬영하지 않은 각도까지 사실적으로 복원하며, 무엇보다 실시간으로 렌더링됩니다. NeRF가 품질을 얻고 속도를 내주었다면, 3DGS는 둘을 동시에 잡았습니다.
공간이 데이터로 존재하기 때문에 카메라를 어디로 옮겨도 같은 장면이 유지됩니다. 컷이 바뀔 때마다 배경이 새로 생성되며 흔들리는 영상 생성 AI의 한계를, 카이는 공간을 먼저 3DGS로 확보하는 방식으로 넘어섭니다. 카메라 포지션 학습 역시 이 표현 위에서 이뤄집니다.
3DGS의 학습 시간은 입력 이미지의 양이 아니라 질에서 갈립니다. 카이는 입력 영상에서 흐릿하거나 품질이 떨어지는 프레임, 시점이 겹쳐 정보를 더하지 않는 중복 프레임을 자동으로 걸러냅니다. 같은 영상으로 더 빠르게, 더 깨끗한 공간을 만듭니다.
생성된 공간은 그대로 쓰이지 않습니다. 학습 과정에서 남는 노이즈 스플랫을 제거해 공간을 정리하고, 3D 메시로 제작된 오브젝트를 같은 씬에 올려 함께 편집합니다. 스플랫과 메시가 한 화면에서 다뤄지기 때문에, 촬영한 공간에 제작한 오브젝트를 배치하는 실제 프로덕션 작업이 가능합니다.
스트로크 입력으로 공간의 원근과 깊이를 수정하고, 텍스트 명령으로 특정 파트를 식별해 스타일을 유지한 채 세부를 다듬습니다.
캐릭터의 외형, 음성, 감정 표현을 포함하는 디지털 액터 시스템입니다.
텍스트·음성 등 멀티모달 입력으로 원하는 3D 객체와 공간을 실시간으로 생성·편집하는 기술. 누구나 쉽게 3D 공간을 만드는 미래의 가능성을 실증합니다.
3D 객체·공간 데이터셋의 카테고리화 및 클라우드 DB화.
음성·텍스트 자연어 이해 기술을 통한 3D 객체 배치 및 변형.
글로벌 유저 대상 베타 테스트, 상용 엔진(Unreal, Unity) 연동.