AI가 급속도로 발전하면서 이용자의 편의도 증가했지만, 이를 악용하는 사람도 있기 마련입니다.

어떤 위협이 있고, 어떻게 대응할 수 있을까요?

AI와 등장한 새로운 보안 위협

국가정보원, 과학기술정보통신부, 행정안전부, 개인정보보호위원회 등 정부 부처들이 이달 16일 공동 발간한 '2024 국가정보보호백서'에서는 "AI 기술이 다양한 산업 분야에서 혁신을 가져오고 있지만, 사이버 보안 위협의 복잡성과 위험성도 증가하고 있다"고 설명했습니다.

기업의 AI 서비스와 클라우드 도입이 활발해지면서 AI는 업무 효율성을 증대시키는 효과를 가져오는 동시에 보안 취약점이 되기도 합니다. 글로벌 사이버 보안 기업 '프루프포인트'가 발표한 '연례 CISO의 목소리 보고서'에 따르면, 국내 CISO 중 75%가 새로운 보안 위협으로 생성형 AI를 꼽았습니다.
 

AI가 핵무기 제조법을 알려준다고?

이달 3일에는 한 해커가 챗GPT를 '탈옥' 모드로 해킹해 핵무기나 마약 제조법을 생성하도록 한 일이 있었습니다. '탈옥(Jail Breaking)'은 AI 모델의 제한된 기능을 우회해 금지된 작업을 수행하게 하는 행위입니다. 이 해커는 오픈AI가 최신 모델인 GPT-4o를 공개한 지 4시간 만에 탈옥에 성공했다고 주장했습니다.

이처럼, AI 모델의 취약점을 노려 불법적인 정보를 얻으려는 시도가 있을 수 있습니다. 프롬프트를 주입함으로써 AI가 개인정보나 업무 기밀 등 유출되면 안되는 정보를 대답하게 만들 수 있는 것이죠.  이밖에  AI 모델에 스팸과 조작을 가해 검색 결과를 왜곡하는 사례, 랜섬웨어나 멀웨어 등 악성 프로그램을 제작하는 사례도 대표적인 보안 위협입니다. 

기업이 사용하는 생성형 AI가 이러한 보안 위협에 노출된다면, 부정확한 응답을 사용해 비즈니스에 손해가 가거나 기밀 정보 유출 등의 사고가 발생할 수 있습니다.

보안 노력이 필요해요

다만, 이와 같은 상황에서도 기업의 AI 보안에 대한 준비는 아직 미흡합니다. AWS와 IBM의 공동 연구에 따르면, 아시아태평양 지역 기업 중 24%만이 생성형 AI 프로젝트의 보안을 확보했거나 관련 노력을 기울이고 있는 것으로 나타났습니다.

IT 업계에서는 기업의 AI 활용 과정에서 보안 문제가 발생하지 않도록 다양한 노력을 기울이고 있습니다. AWS는 연례 행사 '리인포스(Re:Inforce)'에서 보안 데이터를 중앙집중화하여 분석하는 '아마존 시큐리티 레이크' 등 기업의 서비스와 클라우드 환경을 보호하기 위한 다양한 서비스를 소개했습니다. 챗GPT 개발사 오픈AI는 이달 미국 국가안보국(NSA) 국장 출신 폴 나카소네를 안전·보안위원회에 합류시켰습니다. 마이크로소프트는 AI 제품 안정성 보장 팀을 지난해 350명 규모에서 올해 400명으로 늘렸으며, 지난 4월부터 애저 오픈 AI 서비스에 보안 기능 '프롬프트 쉴드'를 적용해 AI의 악의적 사용을 방지하고 있습니다.