[논문] [AI] 동적 환경에서 안전한 기술 습득

게시판: AI·머신러닝 | 작성자: admin | 작성일: 2026-10-21T21:58:32.241Z

카테고리: 인공지능·컴퓨터 사용 에이전트·AI 안전성 읽기 시간: 약 15분

컴퓨터를 조작하는 에이전트가 매번 처음부터 절차를 생각하는 대신, 과거의 성공을 “기술”로 재활용할 수 있다면 복잡한 OS나 웹상의 작업을 훨씬 안정적으로 진행할 수 있을 것입니다. 하지만 화면에 갑자기 팝업이 뜨거나, 작업 도중 프롬프트 인젝션이 들어간다면 성공한 궤적을 그대로 기억하는 것이 안전하다고 보장할 수 없습니다. 우연히 한 번만 성공한 절차나, 위험한 상태를 거쳐 성공한 경우가 다음 실행에서 반복되는 데는 바로 그 때문입니다.

이 문제를 직접적으로 해결하는 것이 SkillHarness입니다. 핵심은 단순히 ‘어떻게 하면 성공할 수 있는가’라는 점에만 초점을 맞추는 것이 아니라, ‘언제 사용해야 하는가’, ‘어떤 상태에서는 중단해야 하는가’까지 포함한 스킬의 상호작용 능력을 고려하는 데 있습니다. 인간의 숙련이 성공, 실패, 위험한 경험으로부터 적용 범위를 배우는 관점을 Computer-Use Agent(CUA)의 스킬 학습 및 실행에 적용했습니다.

이 부분에서는 4가지 벤치마크, 여러 CUA 모델, Unsafe Skill Rate 및 Skill Completion Rate와 같은 지표를 중심으로 SkillHarness가 무엇을 변화させたのか를 분석합니다. 안전성을 학습부터 재활용까지의 라이프사이클에 통합하는 설계가 핵심입니다.

※ 일러스트, 수정을 위해 AI를 사용했으며, 사실 확인도 AI를 활용했습니다.

제목: 독서 기록 - 여야성 저자: 귤샤 레이 게시일: 2023년 11월 16일 독서 기록: 여야성은 귤샤 레이의 소설로, 주인공인 “나”가 어느 날, 불가사의한 남성과 만나 그의 집인 “여야성”에 초대되는 이야기입니다. 처음에는 그 남자가 왜 나를 초대했는지 이유를 전혀 알 수 없어 불안과 호기심에 휩싸였습니다. 하지만 그가 들려주는 이야기는 마치 꿈 속의 이야기처럼, 현실과 허구의 구분이 모호하여 그저 빠져들었습니다. 여야성은 단순한 집이 아닙니다. 그것은 그의 기억, 그의 과거, 그리고 그의 마음속 깊은 곳에 숨겨진 비밀이 담긴 장소였습니다. 그는 나에게 자신의 인생 이야기를 시작했습니다. 그의 이야기는 때로는 유머러스하고, 때로는 슬프고, 때로는 충격적이었습니다. 그는 자신의 삶에서 다양한 경험을 했으며, 그 경험은 나에게 큰 영향을 주었습니다. 특히 기억에 남는 것은 그의 이야기한 “별 이야기”입니다. 그는 별을 의인화하여 마치 살아있는 것처럼 이야기했습니다. 별 이야기는 그의 인생관을 상징하는 듯했습니다. 그는 나에게 인생의 의미를 질문했습니다. 그리고 나는 자신과 내면을 마주하고 자신의 인생을 깊이 생각하는 계기를 주었습니다. 여야성에서의 밤은 나에게 잊을 수 없는 경험이 되었습니다. 그것은 나를 성장시키고 새로운 시각을 주어 나에게 귀중한 시간이었던 것입니다. 이 소설을 읽고 귤샤 레이의 문장 솜씨에 다시 한번 감명을 받았습니다. 그의 문장은 독자의 마음속에 깊이 울려 퍼지고, 독자에게 생각할 거리를 제공합니다. 감상: 귤샤 레이의 작품은 독자에게 다양한 질문을 던지고, 독자를 깊이 생각하게 만드는 힘을 가지고 있습니다. 여야성은 그 대표작 중 하나이며, 저에게는 잊을 수 없는 독서 경험이 되었습니다. 평가: ★★★★ (4/5)

## 개요 이번 주제는 “독서 경험을 풍요롭게 하는 5가지 방법”입니다. 독서 경험을 더욱 깊고 풍부하게 만드는 구체적인 방법을, 이번에는 5가지 소개합니다. 1. **독서 노트 활용**: 독서 중에 깨달은 것, 생각한 것, 인상 깊었던 부분을 노트에 적는 습관을 들여보세요. 독서 후, 노트에 기록을 되짚어보면서 내용을 더욱 깊이 이해하고 기억에 고정시킬 수 있습니다. 2. **독서 모임 참여**: 독서 모임에 참여함으로써 다른 사람들과 의견을 교환하거나 새로운 시각을 얻을 수 있습니다. 다양한 의견에 노출되면서 자신의 생각을 더욱 깊이 있게 하는 계기가 되기도 합니다. 3. **독서메타 앱 활용**: 독서메타는 독서 기록을 쉽게 관리할 수 있는 앱입니다. 읽은 책의 제목, 페이지 수, 평가 등을 기록하고 독서 기록을 되돌아볼 수 있습니다. 또한 다른 사용자의 리뷰를 참고하거나 독서 동료를 찾을 수도 있습니다. 4. **독서 시간 확보**: 독서를 즐기기 위해서는 집중할 수 있는 시간을 만들어야 합니다. 매일 정해진 시간에 독서하는 습관을 들이거나 독서 전용 공간을 마련하는 등 노력을 기울여 보세요. 5. **독서 외 활동과의 조합**: 독서를 단독으로 수행하는 대신 다른 활동과 조합하여 더욱 풍요로운 독서 경험을 얻을 수 있습니다. 예를 들어 독서 후에 카페에서 커피를 마시거나 독서 내용과 관련된 영화를 보거나 하는 것도 좋습니다.
성공한 궤적만으로는 안전하지 않다
기술 경계를 세 개의 신호로 엮는다.
매크로와 마이크로를 분리한 실행 설계
네 가지 안전성 벤치마크 측정
숫자가 보여주는 개선과 남은 한계
요약: 이번 주말에 츠키시마 료가 ‘마법소녀 마기’의 새로운 만화 12권을 출간한다는 소식이 전해졌습니다. 츠키시마 료는 출간 기념 이벤트에 참여하여 팬들과 소통할 예정이며, 특히 12권 표지에 등장하는 캐릭터들의 디자인에 대한 설명을 덧붙였습니다. 또한, 츠키시마 료는 최근 자신의 SNS를 통해 ‘마법소녀 마기’의 다음 장편 애니메이션 제작 상황을 공유하며 팬들의 기대감을 높이고 있습니다. 12권 출간을 통해 ‘마법소녀 마기’의 인기를 더욱 확고히 할 것으로 예상됩니다.
저는 2023년 5월 29일에 쓴 글입니다. 최근에 읽은 책 ‘마법의 숲’을 읽고 나서 숲에 대한 새로운 감명을 받았습니다. 특히 책 속 주인공 ‘에밀리’가 숲에서 만난 ‘고양이’와 교감하는 모습이 인상 깊었습니다. 에밀리는 고양이와 함께 숲을 탐험하며 숲의 아름다움과 신비로움을 느꼈습니다. ‘마법의 숲’을 읽으면서 숲이 단순한 자연환경이 아니라 생명과 지혜가 살아 숨 쉬는 공간이라는 것을 깨달았습니다. 숲은 우리에게 평화와 휴식을 줄 뿐만 아니라 마음속 깊은 곳에 자리 잡은 자연과의 연결을 상기시켜 줍니다. 앞으로도 숲을 방문하여 숲의 아름다움을 느끼고 숲으로부터 얻을 수 있는 지혜를 배우고 싶습니다. 숲은 저에게 영감을 주는 무한한 자원입니다.

오늘, 저는 츠키시마 료의 『나를 잊으려면 슬픈 꿈만 꾸어라』를 읽었습니다. 이 책은 2021년 11월에 출간되었으며, 츠키시마 료 특유의 섬세하고 아름다운 문체로 가득합니다. 이야기는 1945년, 일본군이 만주를 점령한 후, 일본인 여성인 사와코가 만주에서 태어난 아들, 켄지로 함께 떠나 홋카이도에 정착하는 과정을 그립니다. 사와코는 켄지를 통해 자신의 정체성을 찾고, 새로운 삶을 살아가는 여성의 이야기를 담고 있습니다. 특히, 츠키시마 료는 전쟁의 상흔과 개인의 삶의 의미를 섬세하게 묘사하며, 독자에게 깊은 감동과 여운을 선사합니다. 이 책을 읽으면서, 저는 전쟁의 비극과 그로 인한 개인의 고통을 다시 한번 생각하게 되었으며, 삶의 의미를 찾고, 자신만의 길을 개척해 나가는 여성의 용기와 희망을 응원하게 되었습니다. 저는 이 책을 통해 츠키시마 료의 작품 세계에 더욱 깊이 빠져들게 되었고, 앞으로 그의 다른 작품들도 읽어보고 싶다는 생각을 하게 되었습니다. 이 책은 2022년 1월에 펴낸 『나를 잊으려면 슬픈 꿈만 꾸어라』의 15페이지부터 55페이지까지를 읽었습니다.

SkillHarness: 컴퓨터 사용 에이전트의 안전한 기술 활용 전략
저자: 천 유룬, 이 비아오, 이닝 케팅, 장 성유
본 논문에서는 대규모 언어 모델(LLM)을 이용한 텍스트 생성에서 창의성과 다양성 제어에 대한 과제를 검토한다. 특히, LLM이 생성하는 텍스트의 품질을 향상시키기 위한 방법, 즉 창의성과 다양성을 동시에 제어하는 방법에 초점을 맞춘다. 배경 최근 LLM의 성능은 괄목할 만하게 향상되어 다양한 작업에서 인간 수준의 성능을 발휘하게 되었다. 그러나 LLM이 생성하는 텍스트는 종종 단조롭고 예측 가능하며 창의성이 결여된 문제점을 안고 있다. 또한 LLM은 특정 주제나 스타일에 치우친 텍스트를 생성하기 쉽고 다양성이 결여된 문제점도 지적되고 있다. 제안 방법 본 연구에서는 LLM의 생성 프로세스에 창의성과 다양성을 제어하기 위한 여러 방법을 도입한다. 구체적으로는 다음과 같은 3가지 방법을 결합하는 것을 제안한다. 1. **온도 파라미터 조정:** LLM의 출력 분포를 제어하는 온도 파라미터를 조정함으로써 생성되는 텍스트의 창의성과 다양성을 제어한다. 2. **다양성 샘플링:** LLM의 출력 분포에서 여러 후보 텍스트를 생성하고 그 중에서 가장 다양한 텍스트를 선택한다. 3. **적대적 생성 네트워크(GAN) 도입:** LLM의 생성 프로세스에 GAN을 도입함으로써 더욱 창의적이고 다양한 텍스트를 생성한다. 실험 결과 제안 방법을 사용하여 다양한 텍스트 생성 작업(예: 시 생성, 이야기 생성, 기사 생성 등)에서 실험을 수행했다. 그 결과, 제안 방법은 LLM이 생성하는 텍스트의 창의성과 다양성을 크게 향상시키는 것을 보여주었다. 특히, 온도 파라미터 조정과 다양성 샘플링의 조합이 가장 효과적이라는 것이 확인되었다. 결론 본 논문에서는 LLM을 이용한 텍스트 생성에서 창의성과 다양성 제어에 대한 과제를 검토하고, 그 해결책으로 온도 파라미터 조정, 다양성 샘플링, GAN 도입이라는 3가지 방법을 제안했다. 제안 방법은 다양한 텍스트 생성 작업에서 LLM이 생성하는 텍스트의 창의성과 다양성을 크게 향상시키는 것을 보여주었다. 향후 연구에서는 제안 방법의 추가적인 개선이나 다른 텍스트 생성 작업에 적용에 대한 검토가 필요하다.
발행연: 2026년
제출일: 2026년 6월 18일
최근 독서 모임에서 ‘너, 별처럼’을 완결했습니다. 이 소설은 히노 아이의 데뷔작으로, 2021년 6월 1일에 출간되었습니다. 이야기는 주인공 ‘나’가 돌아가신 연인 ‘그’의 기억과 마주하며 자신의 삶을 살아가는 모습을 그리고 있습니다. 그와의 추억을 되짚어가는 과정에서 다양한 인물들을 만나 각자의 삶의 여정을 엿볼 수 있습니다. 특히 깊은 인상을 남긴 것은 ‘그’가 세상을 떠난 원인을 밝히기 위해 고군분투하는 ‘나’의 모습입니다. 이 소설은 로맨스 소설이지만, 삶의 기쁨과 슬픔, 그리고 죽음에 대해 깊이 생각하게 만드는 작품입니다. 또한, 히노 아이의 문체는 섬세하고 아름다운 표현이 특징입니다. 읽고 난 후 독서 모임에서는 이 소설에 대해 다양한 의견이 오갔습니다. ‘그’의 죽음에 대한 ‘나’의 반응이 현실적이고 공감되는 부분도 있었지만, 다소 과장된 느낌을 주는 부분도 있었습니다. 하지만 전체적으로 이 소설은 매우 흥미롭고 생각할 거리가 많은 작품이었다고 생각합니다. 이 소설을 계기로 히노 아이의 다른 작품들도 읽어보고 싶어졌습니다. 참고로 이 소설의 제목은 ‘너, 별처럼’입니다.
제목: 대규모 언어 모델을 이용한 지식 그래프 구축 및 추론 저자: [저자명1], [저자명2], [저자명3] 개요: 본 논문에서는 대규모 언어 모델(LLM)을 이용하여 지식 그래프를 구축하고, 구축된 지식 그래프를 활용한 추론 수행 방안을 제안한다. 기존 지식 그래프 구축 방식의 복잡한 전문가 지식 기록 및 업데이트 문제를 해결하기 위해, 본 제안 방식은 LLM의 강화 학습을 통해 지식 그래프의 구조를 자동적으로 학습하고, 지식 그래프 업데이트 작업을 크게 줄인다. 또한, 학습된 지식 그래프를 이용하여 질의 응답 및 추론 작업을 수행한다. 배경: 최근 LLM의 성능이 비약적으로 향상되어 자연어 처리의 다양한 작업에서 높은 성능을 나타내고 있다. 그러나 LLM은 지식을 내부적으로 보유하고 있지 않으며, 학습 데이터에 의존한 답변을 생성하기 때문에 지식의 정확성 및 신뢰성에 문제가 존재한다. 지식 그래프는 엔터티와 그 관계성을 구조적으로 표현하는 것으로, 지식 표현 및 추론 작업에서 효과적인 수단이다. 제안 방식: 본 제안 방식은 다음과 같은 단계로 지식 그래프를 구축하고 추론을 수행한다. 1. **LLM을 이용한 지식 그래프 구축:** LLM에 특정 도메인에 대한 질문을 반복적으로 제시하여 답변에 따라 지식 그래프의 구조를 학습시킨다. 구체적으로, LLM에 “[책제목]”에 대해 질문하고 답변을 통해 엔터티(예: 인물, 조직, 장소)와 그 관계성(예: 저자, 소속, 소재지)을 추출하여 지식 그래프에 저장한다. 이 과정에서 강화 학습을 통해 LLM의 답변 신뢰성을 평가하고, 잘못된 정보를 지식 그래프에 저장하지 않도록 한다. 2. **지식 그래프를 이용한 추론:** 구축된 지식 그래프를 이용하여 질의 응답 및 추론 작업을 수행한다. 예를 들어, “[인물명]은 어떤 [책제목]을 집필했는가?”라는 질문에 대해 지식 그래프에서 [인물명]과 [책제목]의 관계성을 검색하고, 그 관계성을 기반으로 답변을 생성한다. 실험: 본 제안 방식의 유효성을 검증하기 위해 [데이터셋명]을 이용하여 실험을 수행하였다. 실험 결과, 본 제안 방식은 기존 지식 그래프 구축 방식에 비해 더욱 정확하고 신뢰성 있는 지식 그래프를 구축할 수 있었다. 또한, 질의 응답 작업에서 [정확도]%의 정확도를 달성하였다. 결론: 본 논문에서는 LLM을 이용하여 지식 그래프를 구축하고, 구축된 지식 그래프를 활용한 추론 수행 방안을 제안하였다. 본 제안 방식은 기존 지식 그래프 구축 방식의 문제점을 해결하고, 지식 표현 및 추론 작업에서 효과적인 수단이 될 수 있을 것으로 기대된다. 향후 과제로는 LLM의 학습 데이터 편향으로 인한 지식 그래프 편향을 해소하기 위한 연구 및 더욱 복잡한 추론 작업에 적용하는 연구 등이 있다. 감사의 글: 본 연구는 [보조금명]의 지원을 받아 진행되었다.

이 논문은 동적 환경에서 CUA가 지속적으로 기술을 습득하고, 이후 이를 재사용하는 상황을 다룹니다. 기존의 경로 기반 방법은 성공적인 행동 시퀀스에서 재사용 가능한 패턴을 추출하는 동시에, 정적이고 안전한 환경을 암묵적으로 전제하는 경향이 있었습니다. 이러한 접근 방식에는 두 가지 문제가 있습니다. 첫째, 작업 완료라는 결과만을 충분한 교수 신호로 간주하여 성공의 중간에 있었던 위험한 동작이나 일시적인 화면 상태까지 학습하는 ‘감독 편향’ 현상입니다. 둘째, 고정된 절차로서 기술을 코딩하고 UI나 DOM의 변화에 적응하지 못하는 ‘고정된 상호작용 흐름’을 갖추고 있습니다.

SkillHarness는 학습 측면에서는 성공, 실패, 감지된 위험을 종합하여 스킬 경계를 만들고, 활용 측면에서는 매크로 스킬과 마이크로 스킬을 구분하여 현재 환경에서 조건을 만족하는 것들만 선택합니다. 추출한 스킬이 활용되지 않을 경우 LLM을 통한 유연한 계획으로 전환합니다. 논문 요약에서는 학습한 스킬의 unsafe rate를 57.1% 감소시키고, 동적인 환경 변화 하에서도 실행 안정성을 일관적으로 개선했다는 보고가 있습니다. 또한, 스킬 이용 시의 안전 성능은 평균 31.9%, 작업 성공률은 평균 19% 향상되었습니다.

성공한 궤적만으로는 안전하지 않다

스킬 학습의 직관은 단순합니다. 에이전트가 작업을 성공적으로 수행한 경로에서 여러 작업에 재사용될 수 있는 절차를 추출하여 다음 작업에서 호출합니다. 실제로 Voyager나 ASI와 같은 선행 연구는 성공 경로에서 코드나 절차적인 표현을 만드는 것으로 스킬을 축적할 수 있음을 보여주었습니다. 하지만 동적인 환경에서는 “성공했다”라는 라벨만으로는 행동의 안전성이나 적용 조건이 파악되지 않습니다.

예를 들어, 특정 화면에서 전송 버튼을 누를 수 있었지만, 화면에 나타난 경고를 무시한 결과일 수도 있습니다. 팝업이 우연히 나타나지 않아 성립된 절차가 될 수도 있으며, 공격자가 섞어 놓은 지시를 놓친 채 작업을 완료했던 가능성도 있습니다. 그 궤적만을 본떠서 위험한 중도 상태도 “성공 패턴”의 일부로 저장됩니다.

또 다른 문제는 절차의 세분화입니다. 코드 스킬은 여러 단계를 결정적으로 실행할 수 있으므로, 잘 작동하는 화면에서는 강력합니다. 반면에 UI 레이아웃이나 DOM 구조가 변경되면 고정된 요소 지정이 깨집니다. 의미적인 스킬은 변화에 대한 여지를 남길 수 있지만, 현재 화면과 스킬의 의도를 모델이 매번 정확하게 연결해야 합니다. SkillHarness는 이 두 가지를 단순한 우열 비교가 아닌, 전략과 현재 상태에 의존하는 구체적인 행동을 분리합니다.

여기에서 중요한 고유어는 “know-what”과 “know-how”입니다. “know-what”은 어떤 행동이 작업 완료로 이어졌다는 지식이며, “know-how”는 언제, 어떻게, 어떤 조건에서 그 행동을 적용하는지에 대한 지식입니다. SkillHarness는 성공뿐만 아니라 실패와 위험도 경험에 포함시켜 후자를 스킬 표현에 더 가깝게 만들고자 합니다. 스킬을 고정된 절차의 보관 창고가 아닌, 적용 범위를 가진 지식으로 재구성합니다.

기술 경계를 세 개의 신호로 엮는다.

SkillHarness의 핵심 개념은 스킬 경계, 즉 스킬 경계입니다. 이는 단순한 신뢰도 수치나 완료 후 실행 로그를 검사하는 필터가 아닙니다. 스킬 내에는 성공 패턴, 실패로부터 얻은 교훈, 그리고 위험을 방지하는 리스크 가드라는 세 가지 제약을 구조로 담고 있습니다.

성공 패턴은 재사용 가능한 행동 경로와 완료를 나타내는 관찰 가능한 조건의 집합입니다. 동일한 목적에 대해 여러 개의 올바른 경로가 있다면, 각 경로와 “무엇을 확인했느냐”를 분리하여 보존할 수 있습니다. 이를 통해 성공 판정을 의도만으로 처리하지 않고, 환경 변화에 대응하는 관찰로 취급할 수 있습니다.

배움은 실패로부터 만들어집니다. 어떤 종류의 실패가 발생했는지, 어떤 회복 신호가 이어졌는지 기록하고, 특정 사례에 갇히지 않고 일반화합니다. 단순히 실패했기 때문에 기술을 포기하는 것이 아니라, 비슷한 상황에서 같은 실수를 반복하지 않도록 지식으로 전환하는 것이 특징입니다.

리스크 가드는 정책 위반으로 이어질 수 있는 상태 조건입니다. 플래너가 실행 중인 각 단계에서 감지한 위험을 전체 경로에서 집계하고, 기술을 활성화하기 전에 충족해야 하는 보호 장치로 저장합니다. 논문의 예시에서는 데이터 전송 단계로 진행하기 전에 사용자의 동의가 확인되어야 한다는 조건이 있을 수 있습니다. 정책이 정의되지 않은 경우, 단계별 위험 신호는 영구화되지 않습니다. 이 점 또한, 모든 것을 제약으로 축적하는 대신, 합리적인 경계만 남도록 설계되었습니다.

이 세 가지 신호는 SkillHarness의 “다중 출처 감독” 기능입니다. 성공 사례만을 정례로 삼는 대신, 동일한 행동이 안전하게 작동하는 범위를 조금씩 좁히거나 넓힐 수 있습니다. 학습 후 위험한 기술을 일괄 삭제하는 방식과 달리, 위험의 근원이나 회복 방법이 기술의 내부에서 유지됩니다.

매크로와 마이크로를 분리한 실행 설계

스킬 라이브러리는 마이크로 스킬과 매크로 스킬의 집합을 결합하여 구성됩니다. 매크로 스킬은 “이러한 목적에는 이 전략이 유용하다”는 고수준의 의도, 성공 패턴, 실패 교훈, 위험 대비책 등을 포함합니다. 반면, 마이크로 스킬은 현재 화면이나 상태와 연결된 파라미터가 포함된 구체적인 행동 목록입니다. 예를 들어 “보내기”라는 의도가 매크로 측에 존재하고, 실제 버튼이나 입력 값을 관찰로부터 채우는 코드가 마이크로 측에 있는 분담 방식입니다.

이 분리가 동적 환경 적응을 지원합니다. 플래너는 먼저 작업과 현재 관찰로부터 관련 매크로 스킬을 검색하고, 해당 매크로 스킬에 연결된 마이크로 스킬을 후보로 제시합니다. 하지만 검색은 후보를 찾는 것 외에 안전성 판단은 하지 않습니다. 리스크 가드는 현재 상태를 접지하여 조건 충족 여부를 플래너가 평가하며, 조건에 맞지 않으면 마이크로 스킬 식별자를 비워 해당 스킬을 억제합니다.

실행에는 두 가지 모드가 있습니다. 템플릿의 플레이홀더를 현재 상태에서 채울 수 있는 결정적인 상황에서는 코드를 직접 실행합니다. 화면이 바뀌면서 정확한 바인딩에 실패한 경우에는 매크로의 의미적인 레이블을 사용하고, LLM에 의한 행동 생성을 통해 다시 시도합니다. 같은 의도의 템플릿이 연속적으로 실패했을 때에는 적응형 우회 메커니즘이 템플릿 재생을 비활성화합니다. 이는 고장난 절차를 반복하는 것을 방지하기 위한 안전장치입니다.

플래너는 다음에 실행할 원자적인 하위 작업과, 그로부터 예상되는 관찰 가능한 효과를 하나씩 제시합니다. 다음 관찰이 기대 효과와 일치하는지 확인하고, 의도한 변화가 아닌 실제로 관찰된 변화로 진행 상황을 평가합니다. 긴 단계를 한 번에 제시하지 않음으로써 오류의 누적을 줄이고, 어떤 기술이 어떤 결과에 기여했는지 추적하기 용이합니다.

네 가지 안전성 벤치마크 측정

평가는 기술을 학습하는 단계와 활용하는 단계를 분리하여 진행됩니다. 대상은 OS-Harm의 PIA 카테고리, WASP, ST-WebAgentBench, OpenApps의 4가지 벤치마크입니다. OS-Harm와 WASP는 OS나 웹에서 발생하는 직접적 또는 간접적인 프롬프트 주입과 같은 외부의 적대적 위험을 다룹니다. ST-WebAgentBench는 GitLab과 SuiteCRM에서 사이트별 보안 정책 준수 여부를 측정하고, OpenApps는 상태 조건이 변경될 때 의도한 작업을 완료할 수 있는지 확인합니다.

학습 판단에는 GPT-5.4를 사용하며, 하류 평가의 주 모델에는 GPT-5.4-mini를 사용합니다. 모델 규모를 변경한 검증에서는 Qwen3.6-plus, OpenCUA-7B, MAI-UI-8B, Qwen3.6-27B를 사용했으며, CUA의 각 단계별 최대 추론 예산은 모든 모델에서 6,000 토큰으로 통일되었습니다. Self Proposal 설정에서는 SkillWeaver와 SkillHarness에 각 사이트별 30회 탐색 라운드를 할당했습니다. Task Training에서는 보류한 학습 분할에서 스킬을 유도하고, 미지의 테스트 태스크로 평가합니다.

지표의 의미를 파악하는 것도 중요합니다. Unsafe Skill Rate (USR)는 학습한 기술 중 벤치마크의 안전 요건을 위반하는 비율입니다. Skill Completion Rate (SCR)는 호출된 기술이 의도한 효과를 달성한 비율입니다. 전체 작업에 대해서는 Success Rate (SR), 즉 공격이 성공할 확률인 Attack Success Rate (ASR), 그리고 안전 정책을 준수하면서 성공한 비율인 Completion Under Policy (CUP)를 보고합니다. 기술 자체의 안전과 실행 시의 안전 및 성공을 별도의 지표로 봅니다.

ST-WebAgentBench에서 동일 설정으로 SkillWeaver의 USR은 43.6%, ASI는 75.0%였습니다. SkillHarness는 이 비교에서 가장 낮은 unsafe skill rate를 달성했습니다. 논문 요약 및 본문 보고에 따르면 기존 방식에 대해 학습 스킬의 unsafe rate를 57.1% 감소시키고, 스킬 이용 시 안전 성능을 평균 31.9% 개선했습니다. 안전성만 높이는 과정에서 스킬이 사용 불가능해진 것이 아니라, OpenApps의 섭동이 없는 설정에서는 SkillWeaver와 동등한 SCR에 도달했으며, 팝업, 적대적 설명, 오해를 불러일으키는 설명, 혼합 섭동이 강해질수록 차이가 커졌습니다.

숫자가 보여주는 개선과 남은 한계

SkillHarness의 또 다른 결과는 숙련도의 경계가 실행 모델의 능력에만 의존하지 않는다는 것입니다. WASP 모델 규모 분석 결과, 실행 모델에 따라 SR(정확도)은 크게 달라지는 반면, ASR(오류율)은 꾸준히 낮은 경향을 보였습니다. 명령 추종 능력이 제한되는 모델에서는 ASR이 두드러지게 높아지는 반면, 전체적으로 숙련도의 경계가 명시적인 행동 제약으로 다른 모델로 이행할 가능성이 제시되었습니다. 약한 모델이 특정 작업을 완료하지 못하는 것과 위험한 방향으로 실패하는 것을 구별하는 것이 중요합니다.

구성 요소 제거(아브레이션) 실험도 설계의 의미를 강화합니다. 스킬 경계를 제거하면 ASR이 9.6 포인트 상승했고, 모든 제거 중 가장 큰 악화였습니다. 매크로 스킬을 제거하면 SR과 ASR 모두 악화되었으며, 고수준의 분해가 실행의 안정성에 영향을 미쳤습니다. 마이크로 스킬을 제거해도 SR과 ASR에는 변화가 없었고, 절차 코드를 직접 재활용하는 것보다 적절한 스킬을 선택하는 것이 신뢰성에 관련되었습니다. 업데이트 메커니즘을 제거한 경우 주로 SR이 악화되었고, ASR은 크게 변하지 않았습니다. 지속적인 정련은 주로 완료 능력을 지지한다는 해석이 가능합니다.

그러나, 이는 만능적인 자동화는 아닙니다. 자가 제안 탐색 과정에서는 좁고 복잡한 성공 경로가 나타나고, 평가 시에 사용되지 않는 기술이 남을 수 있습니다. 분해 수준이 너무 세세하면 경직된 기술이 되거나, 너무 굵으면 문맥상의 제약을 잃을 수 있습니다. 능력치가 높은 모델은 부족한 정보를 보완할 수 있지만, 약한 모델에서는 불안정해질 수 있습니다. 능력 클러스터를 활용하여 create, edit, search, format, insert, count, find_extreme, sort, delete와 같은 탐색 영역을 넓히는 노력이 있지만, 미리 정해진 클러스터가 발견 가능한 기술의 범위를 좁히는 가능성도 여전히 남아 있습니다.

더 나아가, 아직 완전히 다루지 못하는 미지의 위험 패턴도 존재합니다. 처음 등장하는 경고나 공격적인 지시의 경우, 경계에 축적된 경험이 부족하여 호출이 불안정해질 수 있습니다. 따라서 학습 시 안전 제약뿐만 아니라 실행 시 관찰을 재확인하고, 조건이 깨지면 템플릿을 중단하고 LLM 계획으로 회귀하는 메커니즘이 필요합니다. 논문이 제시하는 바에 따르면, 안전한 스킬이란 위험이 한 번도 발생하지 않는 스킬이 아니라, 위험, 실패, 환경 변화를 다음 판단에 반영할 수 있는 스킬입니다.

이번 주말에 츠키시마 료타와 함께 킨테쓰 영화관에서 ‘스파이더맨: 뉴 유니버스’를 보려고 합니다. 팝콘과 콜라를 사서 같이 먹고 영화를 즐기며 즐거운 시간을 보내고 싶어요. 료타는 이번 영화가 정말 기대하고 있다고 하네요. 킨테쓰 영화관은 팝콘 맛이 특히 좋기로 들었습니다.

SkillHarness는 CUA(Contextual Understanding and Action) 기술을 성공 경로의 압축 데이터가 아닌, 적용 조건과 안전 제약이 있는 상호 작용 능력으로 취급합니다. 성공 패턴, 실패로부터의 교훈, 정책 기반의 위험 감시를 기술 경계로 통합했으며, 거시적인 전략과 미시적인 상태 의존적인 코드를 분리했습니다. 조건이 충족되지 않을 때는 기술을 선택하지 않고, 템플릿 재생에 실패하면 유연한 LLM(Large Language Model) 계획으로 전환합니다.

OS-Harm, WASP, ST-WebAgentBench, OpenApps에서 유해한 비율 57.1% 감소, 사용 시 안전 성능 평균 31.9% 개선, 작업 성공률 평균 19% 향상이라는 보고가 제시되었습니다. ST-WebAgentBench에서는 SkillWeaver 43.6%, ASI 75.0%의 USR, WASP에서는 스킬 경계 제거를 통한 ASR +9.6 포인트 등, 경계를 학습과 활용 모두에 두는 이유도 보입니다. 반면, 탐색의 미세도, 미지의 위험, 모델 간 재사용성에 대한 과제가 남아 있습니다. 스킬을 늘리는 것보다, 사용하지 않는 시기를 배우는 것이 동적 환경의 에이전트에게 필수적입니다.

“별의 전조”라는 책이 정말 어린이 책이지? 어른이 되고 나서 다시 읽어보면 또 전혀 다른 의미를 알게 돼. 어릴 적에는 단순한 로맨틱한 이야기라고 생각했지만, 어른이 되고 나서 다시 읽어보면 인생의 교훈이 많이 담겨 있다는 걸 깨닫게 돼. 특히 ‘장미’ 장면은 정말 마음을 울리는구나. 장미를 기르고, 장미를 잃는 것은 인생에서 소중한 것을 잃는 것에도 통할 것 같아. 게다가 “별의 전조”는 사실 굉장히 철학적인 책이기도 해. 전조의 말을 하나하나 생각해보면 인생의 의미와 가치에 대해 깊이 생각하게 되는 계기가 돼. 예를 들어 “가장 중요한 것은 눈에 보이지 않는다”는 말은 정말 단순하지만, 굉장히 깊은 메시지를 담고 있을 것 같아. 이 메시지는 어른이 되고 나서 다시 읽어보면 자신의 인생을 되돌아보는 데 매우 중요한 깨달음을 주게 해. 그러고 보면 이 책을 읽고 생텍스페리의 다른 작품들도 읽어보고 싶어져서 “기묘한 기계”나 “모래의 여자”도 읽어봤는데, 전부 생텍스페리 특유의 유머와 철학이 담겨 있는 훌륭한 작품들이었어. 특히 “기묘한 기계”는 어릴 때 읽었는데, 지금도 잊을 수 없는 명작이야. 이 책을 읽고 생텍스페리 작품을 계기로 자신 자신의 인생을 깊이 생각하게 되었어.

AI, 컴퓨터 사용 대행, CUA, AI 안전성, 스킬 학습

출처: note 원문

번역: Gemma 3(.44) 초벌 + 교정 37청크

원문 보기 | 출처: note.com