# Runway, 코드를 거치지 않고 화면을 실시간으로 생성하는 AI 'Solaris' 발표 '인터페이스 월드 모델' 제1탄

> https://bookfactory.kr/c/news/10885
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-09-06T03:42:29.000Z

---

AI 개발 기업 Runway는 2026년 8월 31일(현지 시간), 새로운 AI 시스템군 '인터페이스 월드 모델(Interface World Models)'의 첫 번째 모델인 'Solaris'를 발표했다. 코드 등의 중간 표현을 거쳐 웹사이트나 앱을 구현하는 것이 아니라, 사용자의 조작에 따라 인터페이스 자체를 프레임 단위로 실시간 생성한다.

Solaris는 클릭이나 드래그 등의 조작을 받으면서 화면을 연속적으로 생성한다. Runway는 웹사이트나 앱의 새로운 구축 방법뿐만 아니라, 컴퓨터를 조작하는 AI 에이전트의 훈련 환경으로서의 활용도 상정하고 있다.

코드를 거치지 않고 화면 자체를 실시간 생성

일반적인 소프트웨어에서는 시각적인 디자인을 코드 등 중간 표현으로 변환하고, 그 기술(記述)을 바탕으로 화면이나 동작을 구현한다. Runway는 이 변환으로 인해 시각 정보가 손실될 뿐만 아니라, 인터페이스의 동작도 개발자가 미리 구현한 범위로 한정된다고 지적한다.

Solaris는 이러한 중간 표현을 거치지 않고, 단일 월드 모델이 화면과 사용자 조작에 대한 반응을 생성한다. 사용자가 조작할 때마다 다음 프레임을 생성하기 때문에 미리 준비된 화면이나 조작 패턴에만 한정되지 않는다.

논문에서는 예시로 가상 의류 매장의 인터페이스를 소개하고 있다. 사용자가 화면상의 빨간 구두나 파란 셔츠를 자신의 이미지로 드래그하면, 착용한 상태로 화면이 바뀌고 상품이 장바구니에 추가된다.

또한 식재료를 볼에 드래그하여 샐러드를 만들거나, 불꽃을 물체로 이동시켜 연소 모습을 확인하거나, 자동차를 회전시키거나 보닛을 여는 인터페이스 등도 제시되어 있다.

언어 모델이 '무엇을 할지', 월드 모델이 '어떻게 보여줄지'를 담당

Solaris는 Runway의 비디오 생성 AI 모델 'Gen-4.5'를 기반으로 개발되었다. 논문에 따르면, 사용자의 클릭이나 드래그 등의 입력을 텍스트나 이미지와 마찬가지로 다음 프레임을 생성하기 위한 조건으로 다룬다.

실시간 생성을 구현하기 위해 프레임을 과거 프레임에 기반해 순차적으로 생성하는 자기회귀형 방식을 채택했을 뿐만 아니라, 다수의 노이즈 제거 단계를 소수로 압축하는 증류를 실시했다. 나아가 고속화된 모델 자체의 출력을 사용해 학습하여 긴 시간의 조작에서도 화면 품질을 유지할 수 있도록 했다고 한다.

Solaris에서는 언어 모델과 월드 모델의 역할도 나누어져 있다. 언어 모델은 세션 상태를 유지하며 사용자의 조작이 무엇을 의미하는지, 현재 화면을 변경할지 다른 장면으로 이동할지 등을 판단한다. 반면 월드 모델은 그 의도에 기반하여 화면과 동작을 실시간으로 생성한다.

■ Solaris의 구성. 언어 모델이 사용자 조작의 의미를 판단하고, 월드 모델이 화면과 동작을 생성한다

예를 들어 같은 '드래그' 조작이라도 대상이나 문맥에 따라 손목을 확대하거나 손 크기를 측정하는 등 서로 다른 동작을 생성할 수 있다. 기존 소프트웨어의 조작을 재현하는 것이 아니라, 세션 중에 언어 모델이 동작을 결정하고 이를 월드 모델이 그려내는 방식이다.

Claude Opus 5를 통한 코드 생성형 UI보다 '자연스럽다'고 평가

Runway의 연구팀은 Solaris와, 언어 모델이 코드를 생성하여 구축한 인터페이스와의 비교 실험도 실시했다. Solaris와 Claude Opus 5에 동일한 이미지와 조작 지시를 부여하고, 30가지 조작 사례에 대해 250명이 약 7500건의 일대일 비교를 진행했다.

논문판의 집계에서는 '지시를 더 충실히 따르는가'라는 평가에서 Solaris가 62%, Claude Opus 5 기반의 코드판이 25%, 동일함이 13%였다. '화면 내에서 더 자연스럽게 작동하는가'에서는 Solaris가 72%, 코드판이 21%, 동일함이 7%로 나타났다.

■ Solaris와 Claude Opus 5 기반 코드 생성형 인터페이스의 사용자 비교. 논문판에서는 지시 이행과 자연스러움 모두에서 Solaris가 높은 지지를 얻었다

연구팀은 코드로 구축한 인터페이스로도 요구된 변화를 재현할 수 있는 경우가 있기는 하지만, 개별 조작을 독립된 업데이트로 처리하는 경향이 있다고 설명했다. 이에 반해 Solaris는 물체나 소재, 환경이 어떻게 작동하는지를 월드 모델이 다룸으로써 화면 전체와의 일관성을 유지한 반응을 생성할 수 있다고 한다.

AI 에이전트의 훈련 환경으로의 활용도 상정

Runway는 Solaris를 웹사이트나 앱의 생성뿐만 아니라, 컴퓨터를 조작하는 AI 에이전트의 훈련에도 이용할 수 있다고 설명한다. 텍스트 기반 AI 모델은 코드로 제작된 인터페이스 상에서 훈련됨으로써 특정 레이아웃에 의존하기 쉽고, 조금 다른 UI에 대한 대응이 어려워진다고 해당 회사는 말한다.

Solaris에서는 인터페이스 자체를 계속 생성할 수 있기 때문에 레이아웃이나 조작 방법이 변화하는 환경을 만들어낼 수 있다. Runway는 지금까지 존재하지 않았던 레이아웃을 포함한 동적인 인터페이스 상에서 AI 에이전트를 훈련시킬 수 있는 가능성을 제시하고 있다.

한편, 현 단계의 Solaris에는 과제도 남아 있다. 논문에서는 안정적으로 읽기 쉬운 문자를 실시간 생성하는 것, 장시간의 세션에서 시각적·의미적 일관성을 유지하는 것, 잘못된 정보를 그럴듯하게 표시하는 리스크, 스크린 리더 등 기존 접근성 기술과의 통합을 꼽고 있다.

Runway에 따르면, Solaris는 720p 화질, 실시간 조작, 세션을 통한 일관성을 중시하여 개발했다. 현시점에서는 일반 제공되지 않으며, Runway는 파트너 기업과 함께 공개를 위해 노력하는 동시에 사전 접근 신청을 받고 있다.

[원문 보기](https://ledge.ai/articles/runway_solaris_interface_world_model) | 출처: Ledge.ai