AI로봇이 ‘킬러’로 돌변하는 순간 [AI오답노트]아시아경제 기사제공: 2025-05-17 15:00:00

일론 머스크 테슬라 최고경영자(CEO)는 자사의 휴머노이드 로봇 '옵티머스'가 춤추는 영상을 지난 13일 X(옛 트위터)에 공개했습니다.
6초 분량의 영상 속에서 옵티머스는 흡사 사람처럼 팔다리를 움직입니다.
그 모습이 너무 자연스러워 SNS상에서도 상당한 화제가 됐습니다.

인공지능(AI) 인프라의 급격한 발전과 함께, 휴머노이드 로봇 산업이 기지개를 켜고 있습니다.
단순한 고철 덩어리로 그칠 수 있는 로봇이 '똑똑한 AI'와 결합한다면 '아이폰 쇼크'를 뛰어넘는 혁명을 불러올 것이라는 기대가 커지고 있습니다.
엔비디아 CEO 젠슨 황은 지난 3월 "제조업 현장에서 휴머노이드 로봇이 광범위하게 투입되는 시대가 머지않았다"며 "불과 몇 년 안에 일어날 문제"라고 예고했습니다.

젠슨 황의 말처럼, 휴머노이드 로봇들은 공장, 물류센터를 비롯해 제조업 현장의 노동력 부족 문제를 해결할 수 있는 획기적 대안으로 주목받고 있습니다.
더 나아가 병원·요양시설·가정 등 다양한 분야에서도 활용이 기대되고 있죠.

시장도 뜨겁게 달아오르고 있습니다.
모건스탠리는 지난달 리포트에서 "2050년까지 휴머노이드 로봇 시장 규모는 4조7000억달러(약 6572조원)에 이를 것"이라고 내다봤습니다.
이는 2024년 기준 20대 자동차 제조사 총매출의 두 배에 달하는 수치죠. 모건스탠리는 휴머노이드 로봇 시장의 핵심 기업으로 테슬라와 엔비디아, 아마존, 알파벳 등 미국 빅테크를 꼽았습니다.

알리바바, 텐센트 등 중국 기업도 여기에 포함됐습니다.
중국은 가격 경쟁력과 높은 기술력을 앞세워 휴머노이드 로봇 대국으로 빠르게 성장하고 있죠. 특히 '딥시크'를 비롯한 중국 자체 AI 모델과 중국의 거대 제조업 인프라 환경의 시너지에 투자자들은 주목하고 있습니다.
그러나 휴머노이드 로봇 시장에 아무런 난관이 없는 건 아닙니다.

크고 무겁고, 사람처럼 자유롭게 움직이는 쇳덩어리가 '통제불능'이 되어버릴 가능성은 없을까요.

최근 중국의 한 로봇 연구소에서 휴머노이드 로봇이 '난동'을 부리는 사건이 있었습니다.

희망의소리(SOH)가 공개한 영상을 보면, 연구소의 엔지니어 두 명이 미니 크레인에 매달린 휴머노이드 로봇을 작동시킵니다.
팔다리를 움직이던 로봇은 돌연 통제력을 잃은 듯 팔과 다리를 거칠게 휘두르기 시작합니다.
엔지니어들을 당황하며 뒤로 물러서고, 로봇 움직임은 더 격렬해집니다.
SOH는 "시험 단계 휴머노이드 로봇의 일부 오류를 드러낸 것으로 보인다"고 설명했습니다.

휴머노이드 로봇이 난동을 부린 일은 이번이 처음이 아닙니다.
지난 2월 중국 타이산의 등불 축제에서도 비슷한 일이 있었죠. 유니트리사의 로봇 'H1'이 갑자기 사람을 향해 팔을 휘두르며 공격적인 행동을 보인 것이죠. 해당 로봇 개발사는 "프로그램 설정 또는 센서 오류로 발생한 일"이라고 해명했습니다.

1원칙 : 로봇은 인간에게 해를 입혀서는 안 된다.
또한, 부작위로서 인간이 해를 입게 두어서도 안 된다.

2원칙: 제1원칙에 위배되지 않는 한, 로봇은 인간의 명령에 복종해야 한다.

3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은 자기 자신을 보호해야 한다.

SF계의 거장 아이작 아시모프가 창안한 '로봇 3원칙'입니다.
아시모프는 1942년 단편 '런어라운드(Runaround)'에서 처음으로 로봇 3원칙을 언급했습니다.
'아이, 로봇(I, Robot)'과 같은 그의 작품들은 이러한 원칙과 직간접적인 연관을 갖고 있죠.

3원칙의 골자는 간단합니다.
로봇은 ①인간을 해치지 않고 ②인간의 명령을 따르되, ③자신을 보호해야 한다는 것입니다.
각 원칙은 앞선 원칙을 우선시해야 합니다.
어떻게 보면 간명하고 논리적인 원칙이지만, 이 원칙들은 아시모프의 소설 속에서 끊임없이 도전받고 무너지며, 예상치 못한 결과로 이어집니다.

아시모프의 이야기는 현재 AI 혁명기에도 중요한 교훈을 줍니다.
아무리 잘 설계된 규칙이라도 충분히 고도화된 AI 시스템에서는 의도치 않은 결과로 이어질 수 있다는 것이죠. 원칙 간의 충돌, 모호한 해석, 그리고 예측하지 못한 사고의 흐름은 예상치 못한 행동으로 나타날 수 있다는 거죠.

오늘날 우리가 개발하는 AI 시스템들은 점점 더 복잡해지고 있습니다.
이미 현재도 AI가 내놓는 결과물에 대해 개발자조차 설명하지 못합니다.
아시모프의 소설 속 로봇들처럼 우리의 AI도 우리가 부여한 규칙의 경계선을 탐색하고, 때로는 그 틈새를 파고들지 모릅니다.
그런 점에서 로봇 3원칙은 단순한 픽션이 아니라, 오늘날 AI 안전의 중요성을 예견한 것일 수 있습니다.

AI가 사람의 통제를 벗어나 멋대로 행동하는 상황은 언제든 일어날 수 있습니다.
AI가 갈수록 더 똑똑해지고, 자율성도 높아지고 있죠.

그러면, 어떻게 하면 AI를 안전하게 설계하고 운영할 수 있을까요. 시장조사업체 가트너의 보고서를 참조할 만합니다.
AI 통제불능 사태를 막는 몇 가지 방법을 제시하고 있는 보고서입니다.

가트너는 먼저 "위험 영역을 사전에 파악하고 그 영역을 줄이라"고 권고합니다.
AI가 똑똑하다는 이유로, 역할과 목적에 구분 없이 모든 곳에 배치되고 활용된다면 그만큼 위험도 커지는 것일 수 있습니다.

호르헤 로페즈 수석 VP 애널리스트는 "경험적으로 가장 좋은 방법은 비즈니스 목표를 달성할 수 있는 AI 기술 중, 가장 덜 정교한 것을 선택하는 것"이라고 말합니다.

바꿔 말하면, 꼭 필요한 만큼만 AI를 활용하라는 것이죠. 스스로 학습하고 개입, 행동하는 범위가 넓어지면 통제를 벗어나 의도와 다르게 작동할 가능성이 반드시 커진다는 얘기입니다.

또다른 흥미로운 점은 AI의 '양심'에 관한 강조입니다.

AI에 목표만을 제시할 것이 아니라 '해야 할 일'과 '하지 말아야 할 일'을 구분할 수 있는 양심을 구축하는 노력도 병행해야 한다는 것이죠.

'목표'만 중시하다 보면 극단적 결과를 낳을 수 있습니다.
쇼핑몰에서 AI 추천 챗봇을 만든다고 가정해보죠. '수익을 극대화하라'는 목표만 제시되면, 고객이 원하지 않거나 불필요한 상품도 마구 추천할 겁니다.

물론, 제한사항이 너무 많으면 AI가 창의성 없이 틀에 박힌 행동만 할 수도 있습니다.
그래서 사람이 개입해 균형을 잡아주는 것이 중요한 것이죠.

이어서 강조되는 부분이 바로 이러한 사항을 종합적으로 관찰하고 설계할 수 있는 전문가 육성과 책임지는 문화입니다.
AI는 단순한 기술 문제가 아니라 사람(전문가)과 조직 문화의 문제이기도 합니다.

기술 부서에서 AI 서비스를 개발하고, 운영은 다른 부서에서 맡게 되는 상황이 있습니다.
작동상 오류가 없더라도, 얼마든 문제는 발생할 수 있죠. 이때 서로 간의 떠넘기는 문화가 아니라, 누가 책임지고 해결할지를 함께 고민하는 문화를 만들라는 조언입니다.