홍순용AI는 산업 및 사회 활동 전반에 걸쳐 광범위한 경제적, 환경적, 사회적 편익에 기여하는 빠르게 발전하는 기술군이다. 예측 개선, 운영 및 자원 배분 최적화 등 AI를 활용하면 기업에 핵심적인 경쟁 우위를 제공하고 사회적, 환경적으로 유익한 성과를 달성할 수도 있다. 실제로 의료, 농업, 식품 안전, 교육 및 훈련, 미디어, 스포츠, 문화, 인프라 관리, 에너지, 운송 및 물류, 공공 서비스, 보안, 사법, 자원 및 에너지 효율성, 환경 모니터링, 생물 다양성 및 생태계의 보존 및 복원, 그리고 기후 변화 완화 및 적응 분야 등 모든 부분에 AI 활용이 가능하다.
AI의 잠재력과 위험성
그러나 동시에 AI는 특정 적용, 사용 및 기술 개발 수준과 관련된 상황에 따라 위험을 초래하고 법이 보호하는 공익과 기본권을 침해할 수 있다. 피해는 신체적, 심리적, 사회적 또는 경제적 피해를 포함하며, 유무형적 다양한 형태로 드러난다. 딥페이크는 AI로 실제 같은 가짜 영상/음성을 만들어 명예 훼손, 사기, 여론 조작 등 심각한 피해를 준다. AI 챗봇이 생성한 가짜 정보나 허위 사실은 빠르게 퍼져 사회적 혼란을 야기하고 잘못된 의사결정을 초래한다. 이처럼 AI의 오용으로 발생 가능한 위험은 사회 전반에 깔려 있다.
이에 EU(유럽연합)은 TEU(유럽연합조약) 의거하여 EU AI Act를 24년 3월 통과시켰고, 24년 8월 공식적으로 발효했다. AI의 오용은 인간 존엄성, 자유, 평등, 민주주의, 법치주의, 그리고 헌장에 명시된 기본권(차별금지권, 데이터 보호권, 사생활 보호권, 아동 권리 포함) 존중이라는 EU의 가치에 위배될 수 있기 때문에 금지되어야 한다는 것이다.
그리고 실제 법적 구속력 있는 본문 조항을 다음과 같이 단계적으로 적용하기로 확정지었다.
→ 2025년 2월 2일 금지되는 AI 시스템 규제 시작
→ 2025년 8월 2일 범용 AI (GPAI) 모델 규제 시작
→ 2026년 8월 2일 고위험 AI 시스템 의무 적용 시작
→ 2027년 8월 2일 ‘안전 구성요소’로 분류된 고위험 AI 시스템 규제 적용
금지 및 고위험 AI 시스템
사진출처 : C.Suthorn
이미 적용된 금지된 AI 시스템은 여럿이다. AI로 인간을 평가하거나 감시하는 행위는 인간 존엄성과 자유를 해칠 수 있기에 금지이고, 공공장소에서 실시간 얼굴 인식과 같은 생체인식 시스템도 사생활 등 기본권 침해와 연령 / 성별 / 인종 등에 따른 편향된 결과를 초래할 수 있어 금지 대상이다. 이외에 직장 및 교육기관에서 사람의 감정을 추정 및 추론하는 AI, 외모로 범죄 가능성을 예측하는 AI 등도 금지 대상이다. 이를 위반 시 최대 3,500만 유로 또는 매출의 7% 과징금을 물게 된다.
그리고 오는 8월 범용 AI(흔히 우리가 쓰는 챗GPT 등)는 모델의 설계·훈련 데이터·평가방법 등을 명시해야 하고, 저작권 정책 준수, 데이터의 출처 투명한 공개, 시스템적 위험관리 보고 등 규제가 적용된다.
내년에 적용되는 고위험 AI 대상도 여럿이다. 국가 전력망 및 교통 시스템 제어 AI, 교육과 관련된 채점 및 선발 시스템, 고용과 관련된 채용 및 승진 평가 시스템, 대출 승인과 같은 신용평가 시스템, 법 집행 관련 AI 등이 해당한다. 미준수 시 최대 1,500만 유로 또는 매출의 3% 과징금을 내야 한다.
AI 활용 가능성은 무궁무진하지만 그만큼 오용의 여지도 있기 때문에, 핵심 키워드인 ‘투명성’이 AI 입법의 초석인 셈이다. 예로, 딥페이크로 인한 범죄 등을 방지하기 위해서라도 AI가 생성한 콘텐츠는 라벨과 출처 공개를 의무화해야 한다. 나아가 AI로부터 파생된 여러 분야에서도 ‘투명성’은 중요하다. 실제 영국에서는 AI 데이터센터의 냉각수 등 물 사용에 대한 불투명성으로 국가적 물 부족 현상을 악화시킬 수 있다고 발표한 연구가 있다.
한편 AI 사용에 대한 역차별이 존재하지 않도록, 장애인과 같은 사회적 약자에 대한 접근성 향상도 함께 고려되어야 한다. AI가 정보의 비대칭으로 부의 격차를 늘리는 게 아닌, 모두에게 주어짐으로써 사회경제적 불평등 해소에 기여하는 유익한 방향으로 사용되어야 하며, 이를 위해 AI 개발자 / 사회 및 환경 학계 전문가 / 디지털 권리 전문가 등 학제 간 협력이 필요하다.
사회적 책임과 윤리 원칙에 기반한 기술
사진출처 : Inside the Magic
한국의 경우 24년 12월 국회를 통과하여, 25년 1월 ‘인공지능기본법’이 제정되었고, 26년 1월 22일 시행된다. 핵심 내용은 고위험 AI에 대한 집중 규제이며, AI 생성 콘텐츠 명시적 표시와 위험 평가 및 안전 조치 수립이다. 여러 법률신문에서 보도된 바와 같이, EU AI Act에 비해 느슨한 정책이란 비판이 주를 이룬다. 생체인식 등 명시적 금지 대상 결여, EU 대비 과징금 수준이 1/100 수준(최대 3,000만원 과태료), 세부 가이드라인 부족이 있다. 하루 빨리 명확한 위험 분류 체계 도입, 훨씬 강화된 제재 체계 구축, 기존 법체계와 연계성 강화를 통한 이행 인프라 확충이 필요한 시점이다.
AI가 사회 전반적으로 우리에게 도움이 되는 것은 명백하지만, 도움만 되기 위해서는 특정 AI 시스템의 시장 출시와 서비스 제공 및 사용을 규제하는 규칙 제정을 통해 시장의 원활한 기능을 보장하여 피해 보는 사람이 없도록 해야 한다. 이러한 규칙은 인간에 대한 기본권 보호가 근간이지만, 나아가 새로운 혁신 솔루션을 지원, 공공 및 민간 주체들의 생태계를 활성화, 디지털 혁신의 잠재력을 실현하는 데 있어서도 많은 혜택을 줄 수 있을 것이다. 그러므로 인간 중심적 AI 접근 방식을 촉진하여, 윤리 원칙의 보호를 보장하며 나아가야 함을 우리는 인지해야 한다.
*참고자료
- EU 의회 및 이사회. 2024. REGULATION (EU) 2024/1689 OF THE EUROPEAN PARLIAMENT AND OF THE COUNCIL
- EU 집행위원회. 2024. commission.europa.eu/news-and-media/news/ai-act-enters-force-2024-08-01_en
- 인공지능기본법. 2025. www.law.go.kr
- The Guardian. 2025. AI boom means regulator cannot predict future water shortages in England
