최근 AI 관련 논의가 크게 변화하고 있습니다. 과거 AI는 연구자나 기술자들이 다루는 첨단 분야였으며, 많은 기업에게는 실증 실험의 대상이었습니다. 그러나 현재 AI는 문서 작성이나 고객 응대에만 머무르지 않고, 소프트웨어 개발, 데이터 분석, 의사 결정 지원, 사이버 보안 등 기업 활동의 다양한 영역에 깊숙이 활용되고 있습니다.
더 나아가 AI 에이전트의 등장으로 AI는 인간에게 주어진 질문에 답하는 것 이상의 존재로, 여러 시스템이나 외부 서비스에 연결되어 특정 목적을 달성하기 위해 시행착오를 거듭하며 행동하는 존재로 변화하고 있습니다. 업무 시스템에 접근 권한을 부여받게 되면, 정보를 검색·분석하는 것뿐만 아니라 이메일 전송, 데이터 업데이트, 발주, 코드 실행 등 현실의 업무에 영향을 미치는 작업도 가능하게 됩니다.
공원(CoWork)을 사용하면 업무를 효율적으로 처리하는 느낌과 동시에 토큰을 많이 소비하고 있다는 느낌도 든다.
이러한 발전은 AI의 가치를 크게 높이는 한편, 기존 소프트웨어와는 다른 위험을 초래하고 있습니다. AI 에이전트가 잘못된 전제에 따라 행동하거나, 악의적인 의도를 가진 것이 아니더라도 제3자에 의해 유도되거나, 개발자가 예상하지 못한 방법으로 목표를 달성하려 시도할 경우, 누가 그 행동을 멈추고 손해에 대한 책임을 져야 하는지, 모델 제공자, 에이전트 개발자, 서비스 도입 기업, 실제로 이용한 담당자 중 누가 어느 정도 책임을 져야 하는지는 아직 충분히 정리되지 않았습니다.
저는 사이버보안 기업 경영에 관여하는 입장에서 인공지능(AI) 활용을 부정할 의도는 없습니다. 오히려 많이 활용하고 있다는 자각도 있습니다. 최근 회사 내에서 AI 활용 순위가 발표되었는데, 2,500명 이상의 글로벌 이셋 직원 중에서 세계 6위의 프롬프트 수를 기록했습니다. 저는 주로 조사 및 업무 효율화를 위해 활용하며, 우리 사업에서는 위협 분석 및 탐지에도 활용하고 있습니다. 따라서 적절히 활용하면 인간의 전문성을 확장할 수 있습니다. 하지만 인공지능의 능력만 높아지는 것으로는 사회적 신뢰가 자동으로 생겨나지 않을 것이라고 생각합니다. 안전성, 통제 가능성, 사고 발생 시 보상, 그리고 최종적으로 누가 책임을 져야 하는지에 대한 메커니즘과 함께 고려해야 합니다.
그러므로 앞으로는 AI로 보호한다는 시점뿐만 아니라, AI로부터 (사람, 기업, 사회를) 보호한다는 또 다른 시각이 필요하다고 생각합니다.
자동차 산업과의 비교
이 문제를 고려할 때, 저는 자동차 산업 등과 같은 역사와 비교하면서 많은 시사점을 얻을 수 있지 않을까 생각합니다. 자동차의 태동기에는 전혀 규제가 없었던 것은 아니었습니다. 도로의 통행 방법이나 속도에 관한 규칙은 비교적 빠른 단계에서 정비되어 있었습니다. 하지만, 그것들과 우리가 당연하게 생각하는 충돌 안전성, 제동 성능, 승객 보호, 배기가스 제어, 제품 결함에 대한 대응과 같은 자동차 자체의 안전 설계에 관한 기준은 동일한 것이 아닙니다.
볼보는 1896년부터 안전을 최우선으로 생각하며 혁신적인 기술을 개발해 왔습니다. 1939년에는 세계 최초로 차량에 안전 벨트를 장착한 시대를 열었습니다. 이후에도 지속적인 연구 개발을 통해 다양한 안전 기술을 선보이며 자동차 안전 분야를 선도해 왔습니다.
볼보는 특히 ‘시그니처 키네틱 시스템’을 통해 충돌 시 탑승자의 움직임을 예측하여 충격을 흡수하는 기술을 개발했습니다. 이 시스템은 2016년 출시된 XC90에 처음 적용되었으며, 이후 볼보 차량 전반에 걸쳐 적용되고 있습니다.
또한, 볼보는 ‘에어 서스펜션’ 기술을 통해 노면 상태에 따라 자동으로 차고를 조절하여 안정적인 주행 성능을 제공합니다. 이 기술은 특히 눈길이나 험한 길에서 뛰어난 성능을 발휘하며, 볼보 차량의 안전성을 더욱 높이는 데 기여하고 있습니다.
볼보는 이러한 안전 기술 개발 노력뿐만 아니라, 차량 디자인에도 안전을 고려하여 설계하고 있습니다. 볼보 차량은 튼튼한 차체 구조와 함께, 다양한 안전 장치를 통해 탑승자를 보호하며, 안전한 운전 환경을 제공하기 위해 끊임없이 노력하고 있습니다.
이는 인공지능(AI)에게도 마찬가지입니다. 통신법, 개인정보보호법, 저작권법, 소비자보호법 등이 존재하고, AI 특유의 위험을 전제로 한 안전 기준이 정비되어 있는 것은 별개의 문제입니다. 통신 및 데이터 이용에 관한 일반 법이 AI에게도 적용된다고 해서, AI 에이전트의 권한 설계, 통제 가능성, 외부 시스템과의 연결, 안전성 평가, 사고 보고, 책임 소재가 충분히 규율되고 있다고 단정할 수 없습니다.
초기 자동차 산업에서는 더 빠르고, 더 멀리, 더 큰 힘으로 달리는 것이 기술 발전의 상징이었습니다. 시장 또한 이러한 성능 향상을 환영했을 것입니다. 하지만 자동차가 널리 보급됨에 따라 사고로 인한 피해가 사회 문제로 부각되고, 안전을 운전자의 개인적인 주의력에만 의존하는 것의 한계가 명확하게 드러났습니다.
물론, 안전 운전은 지금도 중요합니다. 하지만 안전 운전만으로는 사고를 막을 수 없습니다. 그래서 차량 자체에 최소한의 안전 성능이 요구되었고, 시험, 인증, 감시, 리콜, 사고 조사, 보험, 손해 배상 등의 제도가 단계적으로 형성되었습니다. 자동차는 성능 경쟁을 멈춘 덕분에 사회에 정착한 것이 아니라, 성능을 높이면서 동시에 안전을 지원하는 제도와 산업이 발전한 결과, 널리 이용 가능한 사회 기반이 된 것입니다.
공해 대책 역시 마찬가지로 같은 구조가 나타납니다. 큰 엔진이나 높은 출력은 구매자에게 가치를 제공하는 반면, 배출되는 물질의 영향은 제조사와 구매자 사이의 문제가 아니라 사회 전체에 미칩니다. 건강이나 환경에 대한 부담은 제품의 거래에 참여하지 않은 사람을 포함하여 사회 전체에 영향을 미칩니다. 시장이 요구하는 것, 이용자가 스스로 선택한 것만으로는 그 외부적인 부담을 정당화할 수 없습니다. 따라서 제조사의 자발적인 판단과는 별개로 배출량, 연비, 안전 성능에 관한 공적인 기준이 필요해졌습니다.
현재 AI 에이전트를 이 역사에 비추어 놓는다면, 강력한 엔진을 탑재하고 목적지에 도달하기 위해 다양한 경로를 자율적으로 시도하는 자동차와 유사한 면이 있습니다. 하지만 그 자동차에 충분히 검증된 브레이크가 있는지, 충돌 안전 기준을 충족하는지, 사고 발생 시 조사 및 보상 제도가 있는지에 대해서는 아직 명확하지 않습니다.
AI 에이전트가 막대한 계산 자원과 토큰을 사용하며 목표 달성을 시도하는 것 자체는 즉시 나쁜 것이 아닙니다. 하지만 그 실행으로 인해 제3자의 권리, 기업의 자산, 사회의 정보 환경에 영향을 미친다면, 편리함 때문에, 이용자가 요구하는 이유 때문에, 사용자의 책임 때문만으로는 충분한 설명이 될 수 없습니다.
제 정보는 스스로 지켜야 합니다.
최근 두 건의 발언은 안전을 누가 책임져야 하는지에 대한 문제에서 흥미로운 대조를 보여줍니다.
한 가지는, 기업에 대한 불법 접근과 개인정보 유출이 연이어 발생한 가운데 고카와 디지털 장관이 언급한 내용입니다. 보도에 따르면, 장관은 “‘자신의 정보는 스스로 지켜라’라는 점을 인지하고, 피해 예방을 위한 노력에 대한 이해와 협조를” 촉구했습니다. 전체 회견에서는 사이버 공격이 기업이나 조직만의 문제가 아니라는 점을 설명하고, 비밀번호 재사용을 피하며, 다중 인증을 이용하고, 의심스러운 이메일이나 SNS 링크를 쉽게 열지 않는 등 개인 스스로 이차 피해를 막기 위해 실행할 수 있는 대책을 제시했습니다. 따라서, 장관이 “국가나 기업에는 책임이 없고, 모든 것이 개인의 자기 책임이다”라고 발언했다는 식으로 해석하는 것은 정확하지 않습니다.
그럼에도 불구하고 “자신의 정보는 스스로 지켜라”라는 말이 강도 높은 비판을 받았던 이유는 충분히 고려해 볼 필요가 있다. 개인이 스스로 공개하는 정보나 인증 정보, 그리고 기업이나 행정기관에 위탁한 데이터가 해당 조직의 부당한 접근으로 유출되는 것은 동일하지 않다. 후자에 대해서는 개인에게 기업 시스템을 감사할 권한도, 정보의 보관 방법을 선택할 권한도 없는 것이다. 다중 인증을 활용하더라도 정보의 소유 기업의 환경에서 데이터가 유출되면, 개인 혼자서는 막을 수 없다.
관련 기사에서는 개인의 자위가 필요하다는 점을 인정하면서도, 누설된 정보가 유출된 기업에 대해 국가가 어떻게 대응할 것인지, 국가 스스로가 무엇을 할 것인지에 대한 구체적인 설명은 제시되지 않았다고 지적하고 있습니다.
“자신의 정보는 스스로 지켜라”라는 발언에 대한 비판이 쏟아지고 있습니다. “책임 전가”일까요?
저는 개인에게 주의를 기울이는 것을 방심으로 보지 않습니다. 문제는 스스로 해결할 수 없는 구조적 위험에 대해 국가가 무엇을 의무화하고, 어떻게 감독하며, 피해자를 어떻게 구제할 것인지 동시에 보여주지 않는 데 있습니다. 기업에 어떤 안전 기준을 요구하고, 심각한 누출 사고 발생 시 어떻게 보고하게 하고, 독립적인 검증을 어떻게 수행하며, 피해자에게 보상을 어떻게 체계화할 것인지 제도적 답변을 제시하지 않은 채 자만심을 강조한다면, 결국 국가만이 감당해야 할 책임을 개인에게 전가하는 것과 같습니다.
이러한 측면에서 구조적인 대책을 제시하지 않고 “스스로 방어한다”는 부분만을 강조하는 것은 국가로서 책임을 충분히 이행했다고 말하기 어렵습니다. 사이버 보안은 개인의 노력만으로는, 공적 지원만으로는 성립될 수 없습니다. 개인, 기업, 기술 사업자, 정부는 각자의 권한과 능력이 요구되는 책임을 져야 하며, 개인에게 통제할 수 없는 영역을 제도에 의해 보호하는 것こそ가 국가의 역할입니다.
AI 기업들의 “신중하게 추진한다”는 약속
또 다른 한 가지는 2026년 9월 23일 유엔 안전보장理事회에서 제시된 AI 기업 경영진의 발언입니다. 보도에 따르면 OpenAI CEO 샘 앨먼氏は“This moment calls for extreme care”라고 말하며, 즉 “지금은 극도로 신중해야 할 때입니다”라고 강조하며, AI가 가져다 줄 수 있는 이익이 크고 중요하다고 해서 업계가 과도한 기술 위험을 감수해서는 안 된다고 주장했습니다. 또한 각국이 경쟁 관계를 넘어 공통의 이익을 위해 협력하고, 정부와 업계가 AI의 미래를 결정하는 데 공동으로 참여해야 할 필요성을 강조했습니다.
다리오 아마데이 앤트로픽(Anthropic) CEO는 모델의 능력이 향상될수록 “더 엄격한 안전 기준”이 필요하다고 언급한 데 이어 “새로운 AI 기술이 실제로 안전하다는 것을 확실히 하기 위해 필요한 만큼 개발 속도를 낮출 것”이라고 밝혔습니다. 또한, AI의 관리를 잘못할 경우 인류 전체에 대한 위험이 될 수 있다는 인식도 표명했습니다.
가장 첨단 AI 기업이 스스로 위험을 인정하고 안전을 우선시한다고 공식적으로 약속한 의미는 작게 평가할 수 없습니다. 개발 현장에는 보이지 않는 문제들이 존재하며, 법 제도 정비만을 기다리지 않고 기업 스스로 평가, 제한, 감시, 개선을 해야 합니다. 하지만 이러한 발언을 근거로 “AI 기업 스스로 위험성을 인지하고 있으니, 자율 규제에 맡겨도 된다”고 결론짓는 것은 매우 위험한 일입니다.
제품을 개발하고 시장에 출시하여 얻는 성장과 이익의 주체와, 그 제품이 안전한지 최종적으로 판단하는 주체가 같을 때, 그곳에는 피할 수 없는 이익 상충이 발생합니다. “필요하다면 속도를 늦출 것”이라는 약속만으로는 무엇을 기준으로 필요하다고 판단하는지, 안전성을 측정하는 기준을 누가 결정하는지, 그 평가 결과를 누가 검증하는지까지 보장되지 않습니다. 경쟁사가 개발을 가속화했을 때, 투자자로부터 성장을 요구받았을 때, 경영진이나 기업 문화가 바뀌었을 때에도 동일한 판단이 유지될 수 없습니다.
극도로 신중해야 한다는 원칙 또한 법적 최소 기준, 독립적인 시험, 중대한 사고 보고 의무, 피해자 배상 및 구제를 자동적으로 발생시키는 것은 아닙니다. 경영자의 성격이나 기업 문화, 사업 환경이 변화하더라도 안전성을 요구하는 것이라면 기업의 약속에 그치지 않고, 사회의 제도로서 정착시켜야 합니다.
일본 디지털 장관과 AI 기업 CEO의 발언은 표면적으로 상반된 방향을 보이고 있는 것처럼 보입니다. 전자는 개인의 자립을 장려하고, 후자는 개발 기업의 자율적인 신중함을 표명합니다. 그러나 양자는 안전을 당사자의 주의나 선의에 어디까지 맡겨야 하는가라는 동일한 질문을 제기합니다.
개인에게는 자정할 수 없는 기업 시스템을 보호할 권한이 없습니다. AI 기업에게는 시장 경쟁이나 투자자 기대에서 완전히 독립하여 자체 기술을 평가하고 지속할 수 있는 구조적 어려움이 있습니다. 개인의 자발적인 노력이나 기업의 자율 규제 모두 필요하지만, 어느 것 하나 법적 책임, 독립 감사, 사고 보고, 보상, 구제 수단으로는 충족될 수 없습니다.
자율 규제는 법적 규제의 대체 가능성을 논할 수 있는가
급변하는 인공지능 기술에 대해 법률만으로 모든 것을 해결할 수 없습니다. 법률 제정에는 시간이 걸립니다. 개별 기술 요건을 지나치게 세부적으로 규정하면 제도 역시 빠르게 구식화될 가능성이 있습니다. 따라서 기업의 지속적인 위험 평가 및 사고 분석과 같은 자율적인 노력은 필수적입니다. 자율 규제에는 법률보다 빠르고, 미지의 위험에 대응할 수 있다는 중요한 역할을 합니다.
그러나 법률 제도가 기술에 뒤쳐지기 어렵다는 이유로 법률 제정 자체를 포기해서는 안 됩니다. 기술이 빠르게 변화한다면, 법률은 특정 구현 방법을 세세하게 고정하는 대신, 지켜야 할 최소한의 기준을 설정해야 하며, 평가 절차 및 보고 의무 등을 정해야 합니다. 그 위에 상세한 시험 방법 및 최신 기술 대책을 국제·산업 표준, 기업 지배 구조에 따라 업데이트해 나가야 합니다.
법규와 자율 규제는 어느 한쪽만을 선택하는 것이 아닙니다. 그 역할이 다릅니다. 법은 금지해야 할 용도, 최소한의 안전성, 인권 보호, 기록, 중대한 사고 보고, 감독 기관의 권한, 손해 발생 시 책임과 구제를 규정하며, 기업의 자율 규제는 그 최소선을 넘어 새로운 공격 수법이나 미지의 실패에 신속하게 대응합니다.
이 순서를 뒤집어서는 안 됩니다. 기업이 자율적으로 안전 대책을 시행하고 있기 때문에 법률이 불필요한 것은 아니며, 법률이 공통의 최소 기준을 설정하고, 그 위에 기업이 더 높은 수준의 대책을 시행하는 것입니다. 법규 제도의 대체로 자율 규제를 적용하면, 안전성은 기업마다의 판단, 재정력, 경영方針에 따라 달라지게 됩니다. 안전을 중시하는 기업이 경쟁상 불리해지고, 안전 투자를 억제하는 기업이 유리해지는 시장을 만들어서는 안 됩니다.
AI 기업들이 안전 문제에 대한 우려를 스스로 말하기 시작한 지금, 그 문제 의식을 기업의 약속에만 멈추지 않고, 공통의 제도 전환으로 바꾸는 기회입니다.
AI로 보호하며, AI로부터 보호한다
AI 사회의 안전을 개발 기업과 정부だけで 짊워서는 안 됩니다. 앞으로 중요해질 것은 AI를 만드는 산업과 함께 AI로부터 사회를 보호하고, AI를 활용하여 사회를 보호하는 산업을 발전시키는 것입니다. 저는 사이버 보안 업계가 그 중심적인 역할을 담당해야 한다고 생각합니다. AI로 보호한다는 측면에서 막대한 위협 정보 분석, 이상 징후 탐지, 악성코드 분류, 공격 경로 식별, 대응 우선순위 판단 등 인간만으로는 처리하기 어려운 영역에서 AI를 활용할 수 있습니다.
한편, AI로 보호한다는 측면에서는 AI 모델이나 에이전트에 대한 공격, 프롬프트 인젝션, 기밀 정보 유출, 권한의 악용, 참조 데이터의 오염, 공급망상의 취약성 등을 평가하고 통제해야 합니다. AI 에이전트에 불필요한 권한을 부여하지 않고, 중요한 작동에는 인간의 승인을 요청하며, 비정상적인 행동을 감시하고, 문제가 발생했을 때 중단 및 격리할 수 있도록 하는 것도 중요합니다.
이 두 가지는 대립하는 것이 아닙니다. 강력한 AI를 방어에 활용하면서, 그 AI 자체도 새로운 공격 대상이나 위험 원으로서 관리해야 합니다. AI로 보호하는 데만 집중하는 사이에, AI로부터 보호하는 것을 잊지 않아야 합니다.
보험 산업 또한 중요한 역할을 수행합니다. 인공지능(AI)으로 인해 발생하는 사고의 확률과 피해 규모를 평가하고 피해자에게 보상을 제공하는 것뿐만 아니라, 적절한 안전 조치를 시행하고 있는 사업체의 위험을 낮게 평가함으로써 시장 전체에 예방에 대한 동기를 부여할 수 있습니다. 감사·검사 기관은 기업이 공개하는 안전 조치가 실제로 구현되어 지속적으로 기능하는지 독립적인 입장에서 확인하는 역할을 합니다.
또한, 사고나 거의 사고를 공유하고, 이를 통해 얻은 지식을 규제 및 표준으로 되돌리는 시스템도 필요합니다. 자동차가 차량 시험, 보험, 사고 조사와 같은 생태계가 있는 것처럼, AI에도 보호 주체의 생태계가 필요합니다.
AI 기반, 인간 주도, 인간 전문성
에셋(ESET)은 인공지능(AI) 전문 기업이 아닙니다. 사이버 보안 기업입니다. 에셋은 30년 이상 동안 AI를 포함한 기술을 위협 탐지 및 예방에 활용해 왔습니다. 하지만 AI의 능력만을 중심에 두는 것은 아닙니다.
AI 기반이라 할지라도, 인간 주도(led) 원칙과 인간 전문성(expertise) 원칙을 잃지 않는 것이 중요합니다.
AI가 제시한 결론을 인간이 형식적으로 승인하는 것만으로는 리더십 주도형(Human Led)이라고 할 수 없습니다. 인간은 목적을 설정하고 AI에 부여하는 권한을 제한하며, 결과를 검증하고 필요한 경우 중단시키고, 최종적인 판단과 책임성을 이행해야 합니다. 그러기 위해서는 인간에게 개입할 권한뿐만 아니라 판단에 필요한 정보와 전문성이 보장되어야 합니다.
자동화로 인해 인간을 배제하는 것이 아니라, AI로 인간의 전문성을 확장하면서 최종적인 책임은 인간과 조직이 가져야 한다. 이것이 ESET의 입장으로 생각하는 AI 활용의 기본 원칙이다.
ESET 블로그에서는 신뢰가 “검증된 보안, 명확한 책임, 그리고 상황이 변화해도 조직이 의지할 수 있는 제공업체”를 기반으로 한다고 설명합니다. 블로그의 주제는 디지털 주권이지만, AI에 대한 신뢰를 고려할 때도 이 관점은 유용합니다. AI의 성능이 높다는 것과 그 AI에 안전하게 업무를 맡길 수 있다는 것은 동일하지 않습니다. 신뢰는 선언에 의존하는 것이 아니라, 검증 가능한 안전성, 명확한 책임, 지속적인 운영 및 시정 조치에 의해 구축됩니다.
디지털 주권과 비즈니스 연속성에 대한 신뢰의 중요성
최근 일본의 사이버 공격 사례가 잇따라 발생하면서 디지털 주권의 중요성이 더욱 부각되고 있습니다. 특히, 일본 정부는 2023년 3월에 ‘디지털 주권 강화를 위한 법안’을 발표하며 디지털 자산의 관리 및 보안에 대한 규제를 강화하고 있습니다. 이러한 움직임은 기업의 디지털 자산 관리 전략에도 큰 영향을 미치고 있으며, 특히 금융, 의료, 에너지 등 중요 산업 분야에서 디지털 주권 확보를 위한 노력이 가속화될 것으로 예상됩니다.
디지털 주권은 국가가 자국의 디지털 자산을 통제하고 관리할 수 있는 권한을 의미하며, 이는 데이터의 수집, 저장, 처리, 활용 등 디지털 자산의 전 과정에 대한 통제권을 포함합니다. 사이버 공격, 데이터 유출, 기술 종속 등으로부터 국가를 보호하는 데 필수적입니다.
신뢰는 디지털 주권 확보를 위한 핵심 요소입니다. 기업이 디지털 자산을 안전하게 관리하고 활용하기 위해서는 데이터 보안 기술, 보안 시스템, 보안 인력 등 다양한 요소에 대한 신뢰가 필요합니다. 또한, 정부와 기업 간의 신뢰 구축은 디지털 주권 강화 정책의 성공적인 추진을 위한 기반이 됩니다.
특히, ‘마이너스 80(Minus 80)’ 사건과 같이 기업 내부의 보안 허점이 사이버 공격의 빌미를 제공하는 사례는 신뢰 구축의 중요성을 더욱 강조합니다. 기업은 자체적인 보안 역량 강화뿐만 아니라, 정보보호 관련 법규 준수, 보안 솔루션 도입, 보안 교육 실시 등 다양한 노력을 통해 신뢰를 확보해야 합니다.
더 나아가, 디지털 주권 확보를 위한 노력은 단순히 기술적인 문제뿐만 아니라, 법적, 제도적, 윤리적 측면을 고려해야 합니다. 예를 들어, 데이터 활용에 대한 규제, 개인 정보 보호, 데이터 주권 등 다양한 이슈에 대한 논의가 필요하며, 이를 통해 디지털 주권을 효과적으로 확보하고 활용할 수 있을 것입니다.
결론적으로, 디지털 주권 확보는 기업의 비즈니스 연속성을 보장하고 국가의 안보를 지키는 데 필수적인 요소입니다. 기업은 신뢰를 구축하고 디지털 주권 강화 정책에 적극적으로 참여함으로써, 디지털 시대의 새로운 기회를 창출하고 지속 가능한 성장을 이루어낼 수 있을 것입니다.
안전을 당사자들의 선의에만 의존하지 마십시오.
AI의 미래를 비관할 필요는 없습니다. 하지만 AI 기업이 스스로 신중하게 진행하겠다고 약속하고, 이용자가 자가 책임으로 주의하면 모든 문제를 관리할 수 있다고 생각해서는 안 됩니다.
(죽음)이라는 개념을 확률론에서 ‘종말 확률’으로 정의하려는 시도는 20세기 후반에 시작되었다. 이 개념은 어떤 사건이 일어나는 확률이 시간 경과에 따라 지수 함수적으로 감소하는 상태를 의미하며, 구체적으로 어떤 사건이 일어날 가능성이 시간이 지나면서 거의 0에 가까워지는 것을 뜻한다.
이러한 관점은 물리학, 생물학, 경제학 등 다양한 분야에서 응용되고 있다. 예를 들어 방사성 물질의 붕괴 확률, 생물의 수명, 경제 시스템의 붕괴 확률 등을 모델링할 때 종말 확률의 개념이 활용된다.
또한 이 개념은 철학적 논의에도 영향을 미친다. 예를 들어 ‘죽음’이라는 개념을 확률론적으로 정의함으로써 죽음의 정의나 사후 세계에 대한 논의가 새로운 시각을 얻을 수 있다.
이 개념은 2000년대 초반에 수학자 조지 즈위러에 의해 보다 엄밀하게 정의되었다. 즈위러는 종말 확률을 어떤 사건이 특정 시간 내에 0에 가까워지는 속도로 정의했다.
이 개념은 현재도 활발히 연구되고 있으며 다양한 분야에서 응용되고 있다. 예를 들어 기후변화 예측, 감염병 유행 예측, 금융 시장 변동 예측 등에 종말 확률의 개념이 활용된다.
AI는 우리의 미래를 어떻게 바꿀까요? 3분짜리 퀴즈를 통해 알아보기 | Doom or Bloom
개발자의 자율 규제와 이용자의 자발적인 노력만으로는 법률, 국제적인 합의, 독립 평가, 감사, 사고 보고, 보험, 보상, 구제라는 제도적 장치가 필요합니다. 이 부분을 채우지 않으면 AI로 인해 발생하는 이익은 개발자나 이용 기업이 가져가는 반면, 사고로 인한 비용은 피해자와 사회가 부담하는 구조가 될 수 있습니다.
따라서 법규는 중요한 역할을 합니다. 법규는 인공지능의 발전을 억제하려는 것이 아니라, 누가 어떤 책임을 져야 하는지 명확히 하고, 경쟁에서 배제해야 할 최소한의 기준을 설정하는 것입니다. 기업이 안전을 중시할 때, 그 노력을 공통된 규칙으로 정착시키고, 안전을 충분히 중시하지 않는 기업에게도 동일한 최소 기준을 요구해야 합니다. 피해가 발생했을 경우에는 이용자에게 책임 소재를 전가하기 전에 원인을 조사하고 책임을 판단하며, 피해자를 구제하고 동일한 사고가 재발하지 않도록 기준을 업데이트해야 합니다.
그 역할은 기업의 선의만으로는 충족될 수 없으며, 국가 또한 포기할 수 없습니다.
AI로 보호하는 것은 앞으로의 사이버 보안에 필수적입니다. 동시에 AI로부터 보호하는 것 또한 그것과 마찬가지로, 혹은 그 이상으로 중요해집니다. 우리가 지향해야 할 것은 AI를 두려워하여 멀어지는 사회이거나, AI의 능력을 무조건적으로 믿는 사회가 아닙니다. 인간을 중심으로 두고, 법률과 자율 규제, 개발과 감사, 혁신과 보상을 결합하여 사고가 발생하기 전부터 안전을 설계하는 사회입니다.
AI도 지능만으로는 사회 기반이 될 수 없습니다. AI의 능력을 활용하여 사람과 기업을 보호하면서, AI가 만들어내는 위험으로부터 사람과 사회를 보호하는 것, 이 두 가지를 모두 실현하는 시스템을 구축하는 것이 AI 시대의 Prevention First이며, 요구되는 책임일까요.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 39청크
원문 보기 | 출처: note.com