# AI는 인류를 멸망시킬까. 우리의 “괜찮을”을 되묻는 “안전”에 대한 생각방식

> https://bookfactory.kr/board/ai-tech/21440
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-10-13T09:39:09.881Z

---

### AI는 인류를 멸망시킬지도 모른다.

그 뉴스를 보고 여러분은 어떤 기분이 들으십니까?

“정말 지나치게 과장된 이야기네요?” “AI 때문에 너무 무섭네요.”

어느 쪽 감정도 충분히 이해합니다. 다만, 이 이야기를 AI 전문가의 문제로만 치부하거나, “대신 괜찮을 거라고”와 같이 긍정적인 예상만 하거나, “AI는 언제 폭주할지 모른다”는 식으로 희망적 관찰이나 감정적, 감성적인 반응에 빠지면 본질을 잃는다고 생각합니다.

AI의 안전성을 어떻게 확인해야 할까요. 그 생각은 우리가 업무에서 실수를 방지하고 인간 관계의 오해를 줄이는 것에도 연결됩니다.

“AI가 인류를 멸망시킬까”라는 거창한 이야기가 왜 일상적인 업무와 관련이 있는지 조금 놀랍지 않나요.

공통점은 늘 입에 담던 그 말입니다.

괜찮습니다.

혹은

“위험합니다”라고 말할 때, 그 위험이 무엇인지 명확하게 생각해보셨습니까?

## 특히 일본인들에게 묻고 싶은 “안전”, “위험”이라는 단어를 사용하는 태도에 대해.

과거 일본에는 “원자력 발전 안전 신화”라는 용어가 있었습니다.

재해 이전, 후쿠시마 원자력 발전소 현장에서는 쓰나미 방지 대책을 더욱 강화하자는 이야기도 있었던 것 같습니다. 하지만 “일본의 원자력 발전소는 안전하다”는 이유로 결국 거부당했다는 이야기를 들었습니다.

한편, 원자력 발전 반대 측에서도 “원폭과 똑같은 핵을 다루기 때문에 위험하다”, “원폭 피해국 일본이 원자력 발전을 사용해서는 안 된다” 등 감정이나 감정에 호소하는 데 그쳐, 찬성 측과 반대 측은 서로 맞서기만 할 뿐이었다.

이는 과거부터 이어져 온 “방위 및 안보 문제”와 최근의 “재일본인 문제” 등에서도 나타나는 현상입니다.

원자력 발전이라도 자율 주행, 인공지능, 또는 안보나 이민 문제라 해도 “안전한가, 위험한가”, “좋은가, 나쁜가”, “찬성하는가, 반대하는가”라는 이분법적인 선택에 빠지면 논의가 통하지 않고, 각자의 주장을 펼치는 이야기만 되며, 어느 한쪽으로 나아가지 못한다.

일본에는 “라이드쉐어링”, “자율주행”이 전혀 보급되지 않는 조짐조차 보이지 않는다고 생각합니다.

이대로라면 미국이나 중국에 더욱 뒤쳐질 것이다.

안전이란 안전해지는 징비에 갇혀 “감정적”, “이성적” 판단밖에 할 수 없다고 생각하면, 미지의 도전은 할 수 없고, 격전의 세계에 대응할 수 없다.

어떤 조건에서, 무엇에 대해, 어느 정도까지 안전하다고 말할 수 있을까요.

위험을 구체적으로 명시할 수 있다면, 그에 따른 대책도 구체적으로 마련할 수 있습니다.

## 규칙 준수 여부만으로 안전하다고 단정할 수 있는가

안전이라는 관점에서 발생한 사고는 큰 전환점이 되었습니다.

1988년, 영국 북해에 위치한 석유·가스 생산 시설 ‘파이퍼 알파’에서 발생한 폭발·화재입니다. 현장의 작은 실수로 인해 발생한 사고로 인해 167명의 귀한 생명이 희생되었습니다.

![画像](https://assets.st-note.com/img/1791864773-cVlGQuMI5ZiAh0WHT2s1JeOB.png?width=1200)

물론 이 장비에도 안전을 위한 시스템과 규칙이 마련되어 있었고, 매뉴얼이 존재하며 훈련도 실시되었습니다.

정해진 규칙을 준수해야 합니다. 그것은 필요합니다. 하지만 규칙을 지키고 있다는 사실만으로 현장 전체의 안전이 확실해진다고 단정할 수 없습니다.

장비의 상태가 변동하고, 담당자가 교체된다. 여러 문제가 중첩된다.

그와 같은 조건까지 포함하여 “왜 안전하다고 말할 수 있는가”를 설명해야 한다.

이 사고와 그 이후의 사고 보고서(카렌 보고)를 계기로 영국 해양 시설에서는 “안전 사례”를 중시하는 제도 도입을 추진했지만, 곧이어 전 세계의 다양한 시스템의 안전성을 고려하는 방향으로 발전했습니다.

## 안전에는 “주장, 이유, 사실”이 필요합니다.

안전함의 사례는 특정 시스템이 특정 조건 하에서 충분히 안전하다는 것을 증거와 논리를 통해 설명하는 것입니다.

안전성 역시 마찬가지로 신뢰성과 보안성을 포함한 다양한 측면에서 동일한 사고방식을 적용하며, 그 광범위한 틀 안에서 운영된다.

어라네, 꽤 어려운 이름이지만, 기본적으로 우리가 ‘삼각 논리’라고 부르는 사고방식을 기반으로 하고 있습니다.

- 주장: 이 시스템이 안전하다는 주장(결론)
- 사실: 그것을 뒷받침하는 증거는 무엇입니까?
- 그 이유는 그 사실로부터 그 주장이 도출되는 바에 대한 것입니다.

예를 들어, 특정 기계나 시스템에 대해 “안전하다”고 주장한다.

긴급 정지 장치가 있다는 사실도 제시하며, “매뉴얼이 정비되어 있다”는 부분은 어색합니다.

위험이 발생했을 때, 제때 대처가 될 수 있을까. 작업자가 밀어내기 어려운 상황에서도 멈출 수 있을까. 장치가 자체적으로 고장났을 때 어떤 일이 벌어질까.

장치 및 매뉴얼 존재 여부와 안전성 주장에 대해서는 아직 확인해야 할 부분이 있다.

이 틈을 채우는 것이 그 이유이며, 그 이유가 타당하다는 점도 시험 결과 등으로 확인해 나간다.

철도, 항공 관제, 자동차 및 AI, 우주 개발, 원자력 발전 등 안전이 중요한 분야에서 활용되며 국제 표준으로 자리 잡고 있습니다. “안전”을 어떻게 설명할 것인가에 대한 국제적인 공통 언어가 되는 것입니다.

## AI의 안전성 또한 같은 질문으로 접근해야 합니다.

영국의 AISI(AI 보안 연구소)는 이 안전 사례를 AI에도 적용하는 연구를 진행하고 있습니다.

AI의 능력을 시험하는 것뿐만 아니라, 그 결과가 실제로 사용하는 상황에서 어떤 위험을 의미하는지 평가하고 판단을 연결하는 틀로서 안전 사례를 다루고 있습니다.

여기에서도 “안전 대책을 시행하고 있다”라고 말만으로는 부족합니다.

어떤 것을 방지하기 위한 대책인가. 어떤 시험을 통해 그 효과를 확인했는가. 시험을 통해 방지한 것이 현실에서도 방지할 수 있다고 말할 수 있는 근거는 무엇인가. 어떤 조건에서 그 설명이 무너지는가.

아래 그림은 AISI의 논문에서 “AI 시스템에 대한 사이버 공격”의 안전성 평가를 직관적인 삼각 로직으로 재구성한 그림입니다. (세부 사항은 생략되었습니다.)

![画像](https://assets.st-note.com/img/1791863758-mOhvATjlb8Etuz2VC7ngMSiq.png?width=1200)

유럽 및 미국 국가들뿐만 아니라 중국 역시 정부가 인공지능의 안전을 안전 사례를 기반으로 한 제도에서 관리하고 있습니다.

영국의 안전 관련 사례 연구는 제도와 평가 대상 모두 다르지만, AI를 어떻게 사용하고 어떤 위험을 관리할지를 개발자들의 “괜찮아요”라는 말에만 의존하지 않도록 (이 나라답게) 강제적으로 규정하고 있습니다.

일본 또한 “개별 연구” 수준에서는 일부 진전이 있는 부분도 있습니다. 하지만 세계 수준의 표준 규격 구축이 충분히 이루어지지 못하고 있으며, 일본 AISI(J-AISI)의 예산 및 규모가 부족하다는 문제점들이 많습니다.

## 저희의 “괜찮아요”에도 삼각 논리를 그려보게 하죠.

이러한 접근 방식은 “직장 안전”, “위험 관리”, “실수 방지” 등 일상 업무에도 적용할 수 있습니다.

상사가 당신에게 “그 프로젝트 진행 상황은 어때요? 마감 기한에 맞게 진행되고 있나요?”라고 물어왔다고 가정해 봅시다.

이런 경우에는 “절대 기한 내에 맞춰서 하겠습니다”, “죽을 기세로 최선을 다하겠습니다”라고 말합니다.

그렇다고 그렇게 말씀하신 적이 없으셨나요? 당연히 후자는 시대에 뒤떨어지지만, 지금도 의외로 많이 나타납니다.

상위 ANSI의 삼각 로직에 적용해 보겠습니다. 주장: 네, 충분합니다. 사실: 이미 발생한 문제점(〇〇와 △△)에 대해서는 모두 처리되었습니다. 새로운 문제에 대해서도 이와 같은 조치를 취하겠습니다. 이유: 기존 문제 및 미지의 문제에 대한 대처 능력이 있다는 점에 근거합니다.

상사의 이러한 “괜찮아요”라는 태도에 대해 상사는 “그 사실이 맞습니까?”, “이유 설명이 타당합니까?”라고 생각할 것입니다.

“그 치료 방법을 사용하면 새로운 문제가 발생할 수 있으며, 기존 문제 외에도 유사한 문제들이 더 있을 수 있습니다.”

이 두 사람의 생각을 비교해 보면 “괜찮다”라는 의미가 어느 정도인지, 새로운 대처가 필요한지, 구체적으로 해결할 수 있는지 파악할 수 있게 됩니다.

괜찮다고 생각했을 때, 그 이유와 사실을 확인하는 것이 중요합니다.

안전을 기원하는 마음을 담아 확인용 양식을 첨부합니다.

안전 케이스의 개념은 우리 각자의 안전과 위험 관리에 도움이 되는 것입니다.

### 이 기획은 2023년 11월 28일에 개최된 “제1회 도쿄 국제 만화상” 수상작을 기반으로 합니다. 수상작은 다음과 같습니다.

*   『야사카라 산시의 야미찬』(저: 사쿠라이 다로)
*   『세이오치』(저: 타나카 레이)
*   『우라레노 츠유메 우주』(저: 나기요 시도)

이러한 작품들은 모두 높은 평가를 받아 일본 만화계에 큰 영향을 미치고 있습니다.

- 영국 의회는 파이퍼 알파 사고와 케렌 보고에 대해 심각한 우려를 표명하고 있다.

사고 당시, 항공기 조종사 앤드루 케렌은 비행 중 기체에 이상 징후가 감지되었음에도 불구하고, 비상 착륙을 시도하지 않고, 결국 비행기가 산림 지역에 추락하는 결과를 초래했다.

케렌의 행동은 영국 의회 조사 결과, 단순한 실수라기보다는, 당시 항공 안전 규정과 훈련 시스템의 결함, 그리고 조종사의 심리적 요인 등이 복합적으로 작용한 결과라는 점을 시사했다.

특히, 케렌이 비상 상황에서 침착하게 대처하지 못한 것은, 당시 항공 안전에 대한 인식 부족과, 비상 절차에 대한 충분한 훈련 부족으로 인해 발생한 것으로 분석되었다.

케렌 보고는 또한, 항공 사고 발생 시, 조종사의 책임뿐만 아니라, 항공사, 정부, 그리고 관련 기관들의 안전 관리 시스템 전반에 대한 심층적인 검토가 필요함을 강조했다.

이 보고는 이후, 영국 항공 안전 규제 및 훈련 시스템에 큰 영향을 미쳤으며, 항공 안전 분야의 발전에 기여하는 계기가 되었다.
- JST CREST DEOS 프로젝트: 안전/확인 사례 지침
- ISO/IEC/IEEE 15026-2:2022：보증 사례
- 68. 영국 AISI의 안전성 확보 사례

69. AISI의 안전성 확보 노력
- AISI(미국 금속공학회)는 최근 금속 소재의 안전성 평가를 실제적인 실행 가능한 단계로 전환하기 위한 노력을 강조하며, 관련 업계에 대한 가이드라인을 제시했다. 특히, 최근 발생한 특정 제품의 안전 문제와 관련하여, 소재 자체의 문제점을 파악하고 이를 해결하기 위한 구체적인 평가 기준 마련의 중요성을 역설했다.

AISI는 이러한 평가 과정에서 소재의 기계적 특성, 화학적 조성, 제조 공정 등 다양한 요소를 종합적으로 고려해야 한다고 주장했다. 또한, 평가 결과는 단순히 보고서 형태로만 존재하는 것이 아니라, 실제 제품 설계 및 제조 과정에 반영되어야 하며, 지속적인 모니터링을 통해 안전성을 확보해야 한다고 강조했다.

이와 관련하여, 최근 출간된 ‘금속 소재 안전성 평가 가이드라인’(본서 3판)은 AISI의 이러한 노력을 뒷받침하는 중요한 자료로 활용될 것으로 기대된다. 이 가이드라인은 금속 소재의 안전성 평가를 위한 체계적인 프레임워크를 제공하며, 다양한 산업 분야에서 적용될 수 있도록 설계되었다. 특히, 자동차, 항공, 전자 등 고성능 금속 소재가 사용되는 분야에서 그 중요성이 더욱 부각될 것으로 예상된다.
- 생성형 인공지능 서비스 관리 규정(제17조)
- 일본원자력연구개발기구: 일본의 지층매립계획에 부합한 안전사례 확장 (2010년)

**출처:** [note 원문](https://note.com/seiji_shima/n/n9df8ca57f39d)

*번역: Gemma 3(.44) 초벌 + 교정 50청크*

[원문 보기](https://note.com/seiji_shima/n/n9df8ca57f39d) | 출처: note.com