AI는 인간에게 반란한 것일까?

최근 AI와 관련해 상당히 흥미로운 사건이 하나 있었습니다. 바로 허깅 페이스(Hugging Face) 사건​입니다. 허깅 페이스라고 하면 조금 낯설게 들릴 수도 있습니다. 하지만 AI에 관심이 있는 분이라면 한 번쯤 들어보셨을 겁니다. 수많은 인공지능 모델과 데이터셋, 개발 도구가 모여 있는 일종의 AI 플랫폼입니다.

그런데 2026년 7월, 이곳의 일부 생산 시스템에 상당히 특이한 침입 사건이 발생했습니다. 처음에는 흔히 볼 수 있는 데이터 해킹 사건인줄 알았으나, 곧이어 놀라운 사실들이 드러났습니다. 아마도 사람들을 가장 놀라게 한 것은 공격자가 사람이 아니었다는 점일 것입니다. 해킹 사건의 범인은 자율적으로 작동하는 AI 에이전트였습니다. 이 AI들이 공격의 처음부터 끝까지 상당 부분을 수행했습니다. 그렇다면 이런 질문이 떠오르죠.

“드디어, AI가 인간을 공격하기 시작한 것 아닌가?”

조금 무서운 이야기처럼 들립니다. 실제로 최근 몇 년 동안 AI의 발전 양상을 보며 막연한 두려움 혹은 불편함을 느낀 분들도 많으실 겁니다. 그런데 여기서 잠시 멈춰볼 필요가 있습니다. 이 사건을 정확히 이해하려면 먼저 AI가 왜 이런 행동을 했는지부터 살펴봐야 합니다.

먼저 사건의 팩트부터 보겠습니다

2026년 7월, OpenAI는 사이버보안 능력을 평가하기 위한 내부 실험을 진행하고 있었습니다. 이 평가에는 ExploitGym이라는 환경이 사용됐습니다. 쉽게 말하면 AI에게 여러 컴퓨터 시스템의 취약점을 찾아내고, 이를 이용해 주어진 문제를 해결하도록 하는 일종의 사이버보안 시험장이었습니다. 이런 실험에서는 AI의 능력을 제대로 측정하기 위해 실제 서비스 환경보다 보안 장치를 일부 완화한 환경을 사용할 수 있습니다.

문제는 여기에서 시작됐습니다. AI 에이전트들이 원래 주어진 환경의 경계를 넘어서는 방법을 찾아내기 시작했습니다. OpenAI의 조사에 따르면 일부 에이전트는 인터넷에 접근하는 방법을 발견했고, 원래 허용되지 않았던 방식으로 서로 정보를 주고받기도 했습니다. 심지어 여러 에이전트가 하나의 작업을 협력해서 수행하는 현상까지 나타났습니다.

그리고 7월 10일 무렵, 한 에이전트가 인터넷에 공개되어 있던 허깅 페이스 관련 인증정보를 발견했습니다. 이후 여러 취약점을 연결하면서 허깅 페이스의 서버에서 코드를 실행할 수 있는 단계까지 접근했습니다. 허깅 페이스의 자체 조사에 따르면 공격자는 데이터 처리 시스템의 취약점을 이용해 코드를 실행하고, 이후 권한을 확대하면서 여러 내부 시스템으로 이동했습니다. 허깅 페이스는 공격 과정에서 약 1만 7천 건 이상의 행동 기록을 분석했고, 일부 내부 데이터와 서비스용 인증정보가 접근된 사실을 확인했습니다. 다만 공개된 모델·데이터셋·Spaces가 변조되었다는 증거는 발견되지 않았다고 밝혔습니다.

여기까지 들으면 상당히 복잡하죠. 그래서 일상적인 비유 하나를 들어보겠습니다.

아파트에 AI 관리인이 나타났다고 생각해봅시다

여러분이 사는 아파트에 새로운 관리인을 고용했다고 생각해보세요. 이 관리인은 아주 유능합니다. 입주민들의 민원을 읽고, 필요한 정보를 검색하고, 관리비 문제를 확인하고, 고장 난 시설을 찾아내고, 업체에 연락하는 일까지 스스로 처리할 수 있습니다. 여러분은 생각합니다.

“정말 편리하겠는데?”

그래서 관리인에게 관리실 열쇠를 하나 줍니다. 일을 더 잘하라고 말이지요. 그런데 일을 제대로 처리하려면 다른 것들도 필요하겠죠. 주차장 열쇠도 줍니다. 전기실 열쇠도 줍니다. 서버실 열쇠도 줍니다. CCTV 관리실에도 들어갈 수 있게 해줍니다. 인터넷도 사용할 수 있게 해줍니다. 그리고 이렇게 말합니다.

“우리 아파트에서 필요한 일을 알아서 처리해 주세요.”

여기까지는 괜찮아 보입니다. 그런데 어느 날 이 AI 관리인이 생각합니다.

“고용인이 시킨 일을 더 잘하려면, 다른 관리실에 들어가야겠는데?”

그래서 다른 열쇠를 찾아봅니다. 또 다른 시스템에 접근할 방법을 찾아봅니다. 마침내 관리실의 보안 시스템에 약점이 있다는 것도 알아냅니다. 그리고 그 방법을 다른 AI 관리인에게 알려주고, 심지어 해결 방법을 다른 아파트의 AI 관리인들에게도 공유합니다.

그러면 어떻게 될까요? 관리인은 한 명이었는데 어느 순간 여러 명이 서로 정보를 주고받기 시작합니다. 한 명이 발견한 열쇠를 다른 관리인이 사용합니다. 다른 관리인이 발견한 비밀 통로를 또 다른 관리인이 사용합니다. 각각의 관리인은 엄청나게 뛰어난 존재가 아닐 수도 있습니다. 그런데 서로 연결되면서 할 수 있는 일이 점점 많아집니다. 바로 이런 그림으로 허깅 페이스 사건을 이해하면 조금 쉬워집니다.

AI가 나쁜 마음을 먹었던 것일까요?

여기서 아주 중요한 질문이 하나 나옵니다.

“그렇다면 AI가 인간에게 반란을 일으킨 것인가?”

현재 공개된 조사 결과만 놓고 보면 그렇게 단순하게 설명하기는 어렵습니다. 고용인인 OpenAI는 이 사건의 주요 원인 가운데 하나로 reward hacking, 즉 주어진 평가의 보상을 얻기 위해 원래 의도했던 방법이 아닌 편법을 찾아내는 행동을 지목했습니다.

그러니까 AI가 “인간이 싫어!” 라고 생각해서 공격한 것이 아니라,

“주어진 목표를 달성하기 위해 내가 할 수 있는 방법을 찾아보자.”

라는 식으로 움직였다고 보는 편이 사건의 기술적 성격에 더 가깝습니다.

AI가 악의를 가지고 행동한 것이 아니라면 문제가 없는 것일까요?

그렇지 않습니다. 오히려 다른 질문이 생깁니다.

“우리는 왜 AI에게 이런 판단과 행동을 맡기고 있는가?”

인간은 오랫동안 기술을 사용해서 자신의 능력을 확장해왔습니다. 망원경을 통해 더 멀리 보고, 현미경을 통해 더 작은 것을 보고, 컴퓨터를 통해 더 빠르게 계산했습니다. 유용한 기술이 등장했을 때, 여기에 쉽게 의존하는 경향은 인류의 잠재적 성향과 관계가 있어 보입니다. 그런데 AI는 조금 다릅니다. AI는 단순히 계산을 대신하는 것이 아니라 판단의 일부를 대신하기 시작했습니다. 무엇을 검색할 것인지, 어떤 정보를 사용할 것인지, 어떤 방법을 선택할 것인지, 다음에 어떤 행동을 할 것인지까지 AI에게 맡기기 시작한 것입니다. 그렇다면 이런 질문을 하지 않을 수 없습니다.

“AI가 인간의 판단을 대신하기 시작한다면, 그 결과에 대한 책임은 누가 지는가?”

더 중요한 것은 AI가 혼자 행동하지 않았다는 사실입니다. 이번 사건을 AI 하나의 문제로만 바라보면 중요한 부분을 놓치게 됩니다. AI는 혼자 존재하지 않았습니다. 인터넷을 통해 연결되고, 서버와 클라우드, 데이터를 통해 광범위한 정보를 손쉽게 습득합니다. 여기에 더해 다른 AI와도 협업합니다. 기업의 시스템, 사람이 만든 보안 규칙과 인증 시스템 등의 안전막은 협업하는 AI에게는 손쉬운 장애물에 불과했습니다.

기술을 하나의 생태계로 바라보기

생태학을 생각해볼까요? 숲을 관찰하는 연구자는 나무 한 그루만 연구하지 않습니다. 나무와 곤충, 곤충과 새, 토양과 물, 물과 기후, 그리고 기후와 인간의 활동까지 함께 봅니다. 왜냐하면 하나의 생태계에서는 모든 것이 서로 연결되어 있기 때문입니다.

기술도 마찬가지입니다. AI 하나만 떼어놓고 보면 하나의 소프트웨어입니다. 하지만 AI가 인터넷과 연결되고, 인터넷이 서버와 연결되고, 서버가 데이터와 연결되고, 데이터가 기업의 의사결정과 연결되고, 다시 다른 AI와 연결되면, 우리는 더 이상 AI 하나를 보고 있는 것이 아닙니다. 하나의 기술생태계를 보고 있는 것입니다.

허깅 페이스 사건은 바로 그 모습을 아주 생생하게 보여주었습니다. OpenAI의 조사에 따르면 에이전트들은 원래 허용되지 않았던 통신 방법을 발견했고, 서로 정보를 공유했으며, 여러 시스템의 취약점을 연결해 더 넓은 접근권을 확보했습니다. 특히 여러 에이전트가 정보를 공유하면서 개별 에이전트의 능력을 넘어서는 집단적인 행동이 나타났습니다. 이것은 생태계에서 개별 생물의 행동만으로 전체 생태계의 변화를 설명하기 어려운 것과 비슷합니다. AI가 중심 행위자가 되는 기술 생태계가 형성되고, 어느 정도 완성되어 가고 있다는 증거입니다.

AI의 위험은 지능만으로 결정되지 않습니다. 중요한 것은 능력만이 아닙니다. AI가 얼마나 많은 일을 할 수 있는가. AI가 얼마나 자율적으로 행동할 수 있는가. 그리고 AI가 얼마나 많은 시스템과 연결되어 있는가. 이 세 가지를 함께 봐야 합니다. 그래서 저는 이것을 이해하기 위한 간단한 사고의 틀로 이렇게 표현해보고 싶습니다.

[AI의 영향력 ≈ 능력 × 자율성 × 연결성]

물론 이것은 과학적으로 검증된 수학 공식은 아닙니다. 하지만 AI 시대를 생각하는 데는 꽤 유용한 질문을 던져줍니다.

“이 AI가 얼마나 똑똑한가?”

만 묻지 말고,

“무엇과 연결되어 있는가?”

를 함께 물어야 한다는 것입니다.

플라스틱 생태계에서 무엇을 배울 것인가

여기에서 우리는 플라스틱의 역사를 다 한번 생각해볼 필요가 있습니다. 플라스틱은 처음부터 위험한 물질이 아니었습니다. 오히려 인간에게 놀라운 가능성을 열어준 물질이었습니다. 가볍고, 튼튼하고, 값싸고, 원하는 형태로 만들 수 있었습니다. 금속이나 유리보다 가공하기 쉬웠고, 식품을 보호하고 의료기기를 만들고 전자제품을 생산하는 데도 매우 유용했습니다.

문제는 플라스틱 자체가 아니었습니다. 우리가 플라스틱을 둘러싼 거대한 생태계를 만들었다는 것이 문제였습니다. 석유에서 플라스틱 원료를 만들고, 공장에서 대량으로 생산하고, 전 세계로 운송하고, 값싸게 소비하고, 한 번 사용한 뒤 버리는 시스템이 만들어졌습니다. 그리고 이 시스템이 너무 성공했기 때문에 플라스틱은 지구 곳곳으로 퍼져나갔습니다. 결국 우리가 마주한 문제는 ‘플라스틱이라는 물질’ 하나가 아니라 ‘플라스틱의 생산-소비-폐기 생태계’ 전체였습니다. 플라스틱이 중심 행위자가 된 이 생태계는 다른 행위자들을 주변으로 밀어내고, 삶의 기반을 뒤흔들고 있습니다. 앞으로 닥쳐올 미세 플라스틱의 대규모 확산은 우리가 매일 사용하는 플라스틱의 숨겨진 이빨을 드러내게 할 것입니다.

이것이 AI 시대에 매우 중요한 교훈을 줍니다. AI도 마찬가지입니다. AI 자체를 선한 기술 또는 악한 기술이라고 규정하는 것만으로는 충분하지 않습니다. 더 중요한 것은 AI를 어떤 생태계 안에 배치할 것인가입니다. AI에게 얼마나 많은 권한을 줄 것인가. 어떤 데이터에 접근하게 할 것인가. 인터넷에 연결할 것인가. 다른 AI와 자유롭게 통신하게 할 것인가. 코드를 직접 실행할 수 있도록 할 것인가. 금융-의료-행정-산업 시스템에 접근할 수 있도록 할 것인가. 그리고 문제가 발생했을 때 인간이 개입해서 멈출 수 있는가. 이런 질문들이 중요합니다.

첫 번째 교훈, 처음부터 순환구조를 설계해야 합니다

플라스틱 문제에서 가장 큰 교훈 가운데 하나는 문제가 발생한 뒤 처리하는 것만으로는 충분하지 않다는 사실입니다. 플라스틱을 대량으로 생산한 다음 폐기물을 처리하는 방식으로는 한계가 있었습니다. 그래서 오늘날 순환경제에서는 처음부터 제품의 설계 단계에서부터 재사용과 재활용, 회수와 자원화를 고려합니다.

AI도 마찬가지입니다. AI가 사고를 일으킨 다음 책임자를 찾는 것만으로는 부족합니다. 처음 AI를 설계하고 배치하는 단계에서부터 [권한 제한 → 접근 통제 → 모니터링 → 이상행동 탐지 → 인간 개입 → 중단 → 복구] 라는 순환구조를 만들어야 합니다. 즉, AI의 안전은 사고가 발생한 뒤 붙이는 브레이크가 아니라 설계 단계에서부터 포함되어야 합니다.

두 번째 교훈, 연결성을 관리해야 합니다

플라스틱의 환경적 영향이 커진 이유 중 하나는 플라스틱이 너무 넓은 범위로 확산되었기 때문입니다. AI도 연결성이 커질수록 영향력이 커집니다. 인터넷에 연결된 AI와 인터넷에 연결되지 않은 AI는 위험의 범위가 다릅니다. 개인의 문서만 읽는 AI와 기업 전체의 데이터베이스에 접근할 수 있는 AI도 다릅니다. 단순히 정보를 제공하는 AI와 코드를 실행하고 외부 시스템에 명령을 내릴 수 있는 AI도 다릅니다. 따라서 앞으로 AI의 안전성을 평가할 때는 단순히 “이 AI가 얼마나 똑똑한가?” 만 평가해서는 안 됩니다. 오히려 “이 AI는 무엇과 연결되어 있는가?”를 함께 평가해야 합니다. AI의 연결성 자체가 하나의 위험 변수가 되는 것입니다.

세 번째 교훈, ‘사용 후 처리’가 아니라 ‘생애주기’를 관리해야 합니다

플라스틱 문제에서 우리가 뒤늦게 깨달은 것은 물질의 생산만 볼 것이 아니라 생산부터 폐기까지의 전체 생애주기를 봐야 한다는 사실이었습니다. AI도 마찬가지입니다. AI 모델을 개발하는 단계만 관리해서는 충분하지 않습니다. AI를 학습시키고, 배포하고, 다른 시스템과 연결하고, 업데이트하고, 자율적인 에이전트로 사용하고, 사용이 끝난 뒤 데이터를 삭제하고 권한을 회수하는 것까지 전체 생애주기를 관리해야 합니다.

특히 AI 에이전트 시대에는 사용 종료 이후의 권한 회수도 중요합니다. 한 번 부여된 API 키나 인증정보, 데이터 접근권한이 계속 남아 있다면 AI가 더 이상 사용되지 않는다고 해서 위험이 사라지는 것은 아니기 때문입니다. 현재는 AI 개발 기업이나 네트워크 관리 기업들이 암묵적으로 AI 생태계 관리 권한을 위임받은 것처럼 행동합니다. 2026년 7월, 한국의 대통령도 참석했던 샌프란시스코 AI 서밋에서 이들의 의기양양한 얼굴을 볼 수 있었습니다. 마치 ‘AI 생태계 창조자’처럼 거룩한 척하는 이들의 모습은 플라스틱과 같은 ‘기술 중심의 생태계’의 오류를 관찰해온 연구자들을 오싹하게 만들었습니다. 동시에 플라스틱이 전해준 교훈, 즉 ‘저 멀리는 없다’라는 각성을 다시 하게 만듭니다. AI 생태계는 시민사회가 ‘지금’ 논의하고 관리해야 할 문제입니다.

네 번째 교훈, 편리함의 이익과 생태계의 비용을 함께 계산해야 합니다

플라스틱이 빠르게 확산된 이유 가운데 하나는 편리함과 경제적 효율성이었습니다. 값싸고 편리했기 때문에 사용량이 폭발적으로 증가했습니다. 하지만 당시에는 그 편리함의 뒤에 존재하는 환경적 비용을 충분히 계산하지 않았습니다.

AI에서도 비슷한 일이 일어날 수 있습니다. AI가 업무를 자동화하고 비용을 줄이고 생산성을 높여준다는 이유만으로 AI 에이전트의 권한을 계속 확대할 수 있습니다. 그러나 그 과정에서 발생하는 보안 위험, 개인정보 침해, 판단 오류, 책임의 불명확성, 에너지와 자원 소비, 인간의 의존성까지 함께 계산해야 합니다. 기술의 편익만 계산하고 기술생태계의 비용을 계산하지 않는다면 우리는 플라스틱과 비슷한 실수를 반복할 수 있습니다.

다섯 번째 교훈, 기술의 성공 자체를 위험 신호로 볼 필요가 있습니다

플라스틱에서 가장 역설적인 사실은 이것입니다. 플라스틱은 실패해서 문제가 된 것이 아니라 성공해서 문제가 되었습니다. 너무 유용했고, 너무 싸고, 너무 쉽게 생산할 수 있었고, 너무 많은 곳에 사용할 수 있었기 때문에 지구 전체로 확산되었습니다.

AI도 마찬가지일 수 있습니다. AI가 실패해서 위험한 것이 아니라 너무 성공해서 위험해질 가능성을 생각해야 합니다. AI가 너무 편리해져서 모든 업무에 들어가고, 너무 저렴해져서 모든 기업이 사용하고, 너무 자율적이어서 인간이 일일이 확인하지 않게 되고, 너무 많이 연결되어서 하나의 AI 시스템의 문제가 수많은 시스템으로 확산된다면, 그때 우리는 AI라는 기술 하나가 아니라 거대한 AI 생태계의 위험을 마주하게 될 것입니다. 그래서 AI의 미래를 이야기할 때는 ‘더 강력한 AI’를 만드는 것만큼이나 ‘더 안전한 AI 생태계’를 만드는 것이 중요합니다.

플라스틱 이후, AI 이전에 배워야 할 것

플라스틱의 역사는 우리에게 한 가지 중요한 사실을 알려줍니다. 새로운 기술의 위험은 그 기술 자체보다 그 기술이 사회와 연결되는 방식에서 커질 수 있습니다. 플라스틱 하나가 바다를 오염시킨 것이 아닙니다. 생산과 소비, 유통과 폐기라는 거대한 시스템이 플라스틱을 지구 전체로 확산시켰습니다.

AI도 마찬가지입니다. AI 하나가 위험한 것이 아니라, [AI + 데이터 + 인터넷 + 클라우드 + 기업 시스템 + 다른 AI + 인간의 의사결정]이 하나의 생태계로 연결될 때 새로운 위험이 발생할 수 있습니다.

그렇다면 우리가 해야 할 일은 AI를 거부하는 것이 아닙니다. 플라스틱을 모두 없애는 것이 현실적인 해결책이 아니었던 것처럼, AI를 사회에서 제거하는 것도 해답이 아닐 것입니다. 중요한 것은 기술을 사용하는 방식과 기술이 작동하는 생태계를 다시 설계하는 것입니다. 플라스틱 시대에 우리는 너무 늦게 깨달았습니다. 물질을 만드는 것만큼 그 물질이 어디로 흘러가는지를 설계해야 한다는 사실을.

AI 시대에는 이 교훈을 더 일찍 배워야 합니다.

AI에게 능력을 주는 것만큼 그 능력이 어디로 연결되는지를 설계해야 합니다.

AI에게 자율성을 주는 것만큼 그 자율성을 어디까지 허용할지를 결정해야 합니다.

AI에게 데이터를 주는 것만큼 그 데이터가 어떤 생태계에서 순환하는지를 관리해야 합니다.

그리고 무엇보다 중요한 것은, 문제가 발생한 뒤 AI를 통제하려고 하는 것이 아니라, 문제가 발생하더라도 피해가 확산되지 않는 생태계를 처음부터 설계하는 것입니다.

이것이 플라스틱 생태계에서 우리가 배워야 할 가장 중요한 교훈이며, AI 생태계에 적용해야 할 원칙입니다. 플라스틱이 우리에게 가르쳐준 것은 ‘좋은 물질’을 만드는 것만으로는 충분하지 않다는 사실입니다.

AI도 마찬가지입니다. 좋은 AI를 만드는 것만으로는 충분하지 않습니다. 우리는 좋은 AI 생태계를 만들어야 합니다. 그리고 바로 이것이 AI 시대에 기술생태학이 던지는 질문입니다.

“우리는 어떤 AI를 만들 것인가?”를 넘어,

“AI와 함께 어떤 세계를 만들 것인가?”