상상대로 서울

딥페이크 성범죄 확산 방지를 위한 디지털 성범죄 통합 대응 시스템 구축

제안명

ㅇ AI 기반 딥페이크 성범죄 자동 탐지 및 가해자 계정 차단을 위한 공공-플랫폼 협력 체계 구축

관련규정

ㅇ 성폭력범죄의 처벌 등에 관한 특례법 제14조의2: 허위 영상물 등의 편집·반포 등에 관한 처벌 규정

ㅇ 서울특별시 디지털 성범죄 예방 및 피해자 지원 조례

ㅇ 정보통신망 이용촉진 및 정보보호 등에 관한 법률

제안배경

ㅇ 디지털 성범죄의 진화: 최근 AI 기술을 이용해 일반인의 얼굴을 합성하는 딥페이크 성범죄가 학교, 직장 등 일상으로 확산되며 '디지털 테러' 수준의 사회적 불안을 야기함

ㅇ 대응 속도의 한계: 피해자가 직접 발견하고 신고하기 전까지는 삭제가 어렵고, 텔레그램 등 해외 플랫폼을 이용한 범죄에 대해 지자체 차원의 직접적인 규제나 단속에 한계가 있음

규제사항

ㅇ 피해 영상 삭제 요청 절차의 복잡성: 현재는 피해자가 신고 후 방송통신심의위원회의 심의를 거쳐야 삭제가 가능하여, 골든타임을 놓치고 영상이 기하급수적으로 유포되는 구조임

ㅇ 플랫폼사의 사회적 책임 규제 미흡: 플랫폼 내에서 유통되는 유해 콘텐츠에 대해 플랫폼사가 선제적으로 필터링하거나 가해자 정보를 수사기관에 공유하도록 강제하는 지자체 차원의 조례나 가이드라인이 부족함

문제점 및

개선 필요성

ㅇ 2차 피해 확산: 한 번 유포된 영상은 완벽한 삭제가 불가능하여 피해자의 일상을 파괴함

개선 방향

ㅇ [서울시 AI 탐지 시스템 도입]: 서울시 디지털 성범죄 안심지원센터에 AI 기반 딥페이크 자동 탐지 시스템을 강화하여 유포 즉시 기술적으로 식별함

ㅇ [공공-민간 핫라인 구축]: 주요 IT 기업 및 플랫폼사와 협약을 맺어, 서울시가 인증한 유해 영상물에 대해서는 심의 전이라도 '선 차단 후 심의'가 가능하도록 절차 간소화

ㅇ[가해자 강력 규제 조례안]: 디지털 성범죄 가해자로 판명될 경우, 서울시가 운영하는 각종 공공 서비스 이용 제한 및 소상공인 지원 대상 제외 등 행정적 페널티 부과 검토

ㅇ [디지털 리터러시 교육 의무화]: 서울시 내 초·중·고교 및 청소년 시설에서 딥페이크 범죄의 심각성을 알리는 윤리 교육을 필수 규정으로 신설