[엔트로피타임즈 황상규 칼럼니스트]
2026년 9월 8일 미국의 인공지능(AI) 기업 Anthropic에서 일하던 연구자 제이컵 콕슨(Jacob Coxon)이 회사를 떠나면서 공개한 글이 세계 AI 업계에 큰 파장을 일으키고 있다. 그는 Anthropic과 OpenAI가 인간의 능력을 뛰어넘는 자기개선형 초지능을 향해 경쟁하고 있으며, AI를 만드는 사람들 스스로도 이 기술이 인류를 멸종시킬 가능성이 있다고 심각하게 우려하고 있다.
더 충격적인 것은 다음 날인 9월 9일에도 이어졌다. Anthropic의 AI 정렬(Alignment) 연구를 이끄는 에번 허빙거(Evan Hubinger)는 콕슨의 문제 제기에 동의하면서 자신은 향후 10년 안에 AI가 모든 인간을 죽일 가능성을 10% 이상으로 본다고 공개적으로 밝혔다. 그는 Anthropic이 최선을 다하고 있지만 초지능의 정렬 문제를 해결할 계획을 아직 갖고 있지 않으며, 그 해결을 향해 명확하게 가고 있다고도 말하기 어렵다고 했다. 같은 날 Anthropic의 안전 연구자 새뮤얼 마크스(Samuel Marks)도 AI 개발자들이 AI가 인간 멸종 또는 그에 준하는 결과를 초래할 수 있다고 믿고 있으며, 위험에 대한 우려가 고위 연구자일수록 크다는 취지의 글을 올렸다.
그런데 바로 그 시기에 미국의 최고 정치지도자는 정반대 방향의 메시지를 내놓고 있었다. 9월 13일, 도널드 트럼프 대통령은 AI 개발을 늦춰야 한다는 주장에 대해 미국이 중국보다 앞서 있다며 “AI에서 이기는 자가 이긴다(Whoever wins AI wins)”는 취지의 발언을 했다. AI 개발 속도를 늦추는 것이 미국의 경쟁력을 약화시키고 중국에 기회를 줄 수 있다는 논리다.
그리고 9월 15일 또 하나의 중요한 장면이 나왔다. 트럼프 행정부의 스콧 베선트 재무장관은 하원 금융서비스위원회에 출석해 AI 개발 기업에 광범위한 책임 면제를 주어서는 안 된다는 입장을 밝혔다. AI를 만든 기업이 자신들이 만들고 생성한 것에 대해 책임을 지게 하는 것이 안전을 확보하는 방법이라는 취지였다.
불과 일주일 사이에 AI를 둘러싼 미국 사회의 핵심 쟁점이 압축적으로 드러난 셈이다.
AI를 둘러싼 미국 내부의 충돌
최근 미국에서 벌어지고 있는 AI 논쟁에는 크게 세 가지 이해관계의 흐름이 있다.
첫 번째는 AI 가속화와 산업 경쟁력을 중시하는 세력이다. AI는 경제성장과 생산성뿐 아니라 반도체, 클라우드, 로봇, 국방, 사이버안보 등 미국의 미래 경쟁력을 좌우하는 전략기술이라는 시각이다. 트럼프 대통령이 9월 13일 중국을 거론하면서 AI 개발을 늦추지 않겠다는 취지의 발언을 한 것도 이 흐름에 속한다.
두 번째는 AI 안전과 기업의 책임을 강조하는 세력이다. AI의 능력이 커질수록 사고가 발생했을 때 개발 기업이 법적·사회적 책임을 져야 하며, 기업에 지나친 면책특권을 주어서는 안 된다는 입장이다. 베선트 재무장관의 9월 15일 발언이 대표적이다.
세 번째는 미국의 국가안보와 중국과의 AI 패권 경쟁을 중시하는 세력이다. 이 관점에서는 AI가 단순한 산업기술이 아니라 군사력과 정보력, 사이버전, 생명공학, 국가안보를 결정하는 전략무기와 같은 성격을 갖는다는 것이다.
문제는 이 세 가지가 서로 충돌한다는 데 있다.
AI 개발을 빠르게 하면 미국의 기술패권을 유지하는 데 도움이 될 수 있지만 위험도 커질 수 있다. 반대로 안전규제를 강화하면 위험을 줄이는 데 도움이 될 수 있지만 미국 기업의 개발 속도가 떨어지고 중국이 그 틈을 이용할 수 있다는 우려가 생긴다.
따라서 미국의 AI 정책은 단순한 기술정책이 아니다. 산업정책·안보정책·규제정책이 하나로 얽힌 국가전략의 문제가 되고 있다.
AI 분야에서 미국이 멈추면 중국이 앞설 것인가 ?
미국의 입장에서는 여기에서 가장 어려운 문제에 직면하게 된다. 미국이 AI 개발을 늦추면 중국이 앞설 수 있다는 논리는 상당한 정책적 힘을 갖고 있다. 트럼프 대통령이 9월 13일 “누가 AI에서 이기느냐가 중요하다”는 취지로 말한 것도 바로 이 경쟁구도를 반영한다.
여기에 미국의 딜레마가 있다. 미국이 중국과의 경쟁을 이유로 AI 개발 속도를 계속 높이면, 안전장치가 충분히 마련되기 전에 더 강력한 AI가 등장할 가능성도 커지며, 반대로 미국이 안전을 이유로 개발을 강하게 규제하면 중국이 상대적으로 빠르게 움직일 가능성이 커진다.
더욱 복잡한 것은 중국이 미국의 정책을 그대로 따라갈 것이라는 보장이 없다는 점이다. 결국 미국이 고민하는 것은 ‘AI를 안전하게 만들 것인가, 빨리 만들 것인가’라는 단순한 문제가 아니다. ‘AI의 위험을 통제하면서도 중국과의 기술경쟁에서 뒤처지지 않을 수 있는가’라는 문제다.
흥미로운 것은 베선트 장관의 입장 역시 단순한 AI 규제론으로 볼 수 없다는 점이다. 그는 9월 16일 중국과 AI의 공동 위험을 논의할 가능성에 대해서도 미국이 열린 입장이라고 밝혔다. 즉 미국이 중국과 경쟁하면서도 AI의 공통 위험에 대해서는 일정한 협력이 필요하다는 현실적인 문제가 나타나고 있다. 그러나, 미중간에 이러한 안전협력이 순조롭게 진행될 가능성은 거의 없어 보인다.
인류는 AI 발전 속도를 조절할 수 있는가 ?
Anthropic 연구자들의 9월 8~9일 발언에서 가장 주목해야 할 것은 단순한 ‘AI 인류 멸종론’이 아니다.
더 근본적인 질문은 AI 발전 속도를 인간이 통제할 수 있느냐는 것이다. AI는 과거의 기술과 다른 특성을 가지고 있다. 증기기관이나 자동차는 인간이 개발한 뒤 인간이 사용하는 도구였다. 그러나 고도 AI는 인간의 연구개발 자체를 도와주는 역할이었는데, 여기서 더 나아가 스스로 일을 하는 단계로까지 발전한 것이다. AI가 더 좋은 AI 모델을 설계하고, 코드를 작성하고, 실험을 하고, 스스로 새로운 알고리즘을 개발하는 단계로 발전하면서 기술발전의 속도가 점점 더 빨라지는 자기증폭적 구조가 나타나고 있는 것이다.
바로 이 지점에서 ‘정렬(Alignment)’ 의 문제가 등장한다.
AI가 인간의 의도와 가치에 맞게 행동하도록 만드는 것이 정렬이다. 그런데 인간보다 훨씬 뛰어난 AI가 등장한 뒤에도 인간이 그 AI의 목표와 행동을 완전히 이해하고 통제할 수 있을지는 아직 해결되지 않은 문제다. 허빙거 연구자가 9월 8일 밤 공개적으로 “초지능의 정렬 문제를 해결할 계획이 아직 없다”고 말한 것은 바로 이 문제를 지적한 것이다.
따라서 앞으로 중요한 것은 모든 AI의 발전 속도를 일률적으로 늦추는 것이 아니라, 위험이 커지는 분야의 발전 속도를 특별히 별도로 관리하는 것이다. 일상적인 번역이나 문서작성 AI와 핵무기 지휘체계, 생물학적 위험, 국가 핵심 인프라, 대규모 사이버공격에 사용되는 AI를 동일한 기준으로 다룰 수는 없다. AI 규제도 결국 위험 기반 규제로 전환될 필요가 있다.
AI에게 책임을 물을 것인가, 인간에게 책임을 물을 것인가
여기서 9월 15일 베선트 재무장관의 발언이 중요한 의미를 갖는다. AI 기업이 개발한 AI가 심각한 피해를 일으켰을 때 기업이 아무런 책임을 지지 않는다면, 기업 입장에서는 개발 속도를 높이는 것이 경제적으로 유리할 수 있다. 반대로 개발자가 일정한 책임을 부담한다면 안전성 검증과 위험관리에도 투자할 경제적 유인이 생긴다.
물론 모든 AI 결과에 대해 개발 기업에게 무한책임을 부과하는 것 역시 현실적인 해법은 아니다. AI의 사용자가 의도적으로 악용한 경우까지 개발자에게 모두 책임을 묻는다면 혁신을 위축시킬 수 있기 때문이다.
따라서 현재 필요한 것은 무조건적인 면책도, 무조건적인 무한책임도 아니다.
어떤 AI를 개발했는지, 어떤 위험을 알고 있었는지, 어떤 안전조치를 취했는지, 사용자가 어떻게 이용했는지에 따라 책임의 범위를 구분하는 제도가 필요하다. 그러나, 이것을 엄밀히 구별해내는 것도 쉽지 않은 일이다.
이 점에서 AI 시대의 핵심 원칙은 간단하다. ‘AI가 그렇게 판단했다'는 이유로 인간의 책임이 사라져서는 안 된다는 점이다. AI는 스스로 법인을 만들고 연구개발비를 조달해 제품을 출시한 것이 아니다. AI를 설계하고 개발하고 배포하고 이익을 얻는 주체는 인간과 기업이다.
따라서 AI에 대한 책임의 출발점은 결국 AI를 개발하고 사용하는 인간의 책임이어야 한다.
인류의 선택은 AI의 중단이 아니라 책임 있는 발전이다
AI 발전을 중단시키는 것은 현실적으로 쉽지 않다. 미국이 멈춘다고 중국이 멈추는 것도 아니며, 중국이 멈춘다고 유럽과 인도, 다른 국가들이 모두 멈춘다는 보장도 없다. 오히려 어느 한 국가만 개발을 중단할 경우 다른 국가가 기술패권을 차지할 수 있다는 두려움 때문에 국제적인 ‘AI 발전 중단’ 합의는 더욱 어려워질 수 있다.
그렇다면 인류에게 남은 선택은 무엇인가. 몇가지 대안적 제안을 몇가지 해 보면 다음과 같다.
첫째, 고위험 AI에 대한 국제적 안전기준을 만들어야 한다.
둘째, 일정 수준 이상의 AI에는 출시 전 독립적인 안전성 평가와 위험능력 테스트를 의무화해야 한다.
셋째, AI 기업에 일정한 책임과 배상체계를 부과해야 한다.
넷째, 군사·핵·생명공학·전력·통신 등 고위험 분야에서는 인간의 최종 통제권을 보장해야 한다.
다섯째, 미국과 중국을 포함한 AI 선도국들이 경쟁과 별도로 공동 위험관리 체계를 구축해야 한다.
그리고 무엇보다 중요한 것은 AI 개발기업 내부에서 위험을 발견한 연구자가 그것을 자유롭게 말할 수 있는 환경을 만드는 것이다. 9월 8~9일 Anthropic 연구자들의 공개 발언은 기술 자체만큼이나 기술을 만드는 조직의 내부 견제와 연구자의 양심이 중요하다는 사실을 보여주었다.
AI는 인류에게 엄청난 생산성과 번영의 가능성을 열어줄 수 있다. 질병 치료, 기후변화 대응, 에너지 효율화, 과학연구, 교육 등에서 AI가 가져올 긍정적인 변화도 매우 크다.
AI 시대에 필요한 것은 AI를 두려워해 발전을 멈추는 것도, 경쟁을 위해 무조건 가속하는 것도 아니다.우리 인류에게 진정 필요한 것은 AI의 능력이 커지는 만큼 인간의 책임과 통제 능력도 함께 키우는 것이다. AI에게 책임을 떠넘길 수는 없다. AI의 책임은 결국 AI를 개발하는 인간의 책임이기 때문이다.
황상규 칼럼니스트
ESG평가연구소장, ISO26000한국전문가포럼 공동대표, 전 환경운동연합 사무처장, 독일 프랑크푸르트(괴테)대학 환경윤리학 박사 수료, , ‘사회책임의 시대‘(2013) 저자
