"인공지능(AI) 서비스의 성능이 좋아질수록 해당 서비스는 보안과 안전성도 확보해야 합니다"

유상윤 에임인텔리전스 대표는 최근 제61회 AI 미래포럼 스타트업 라운드테이블에서 "기존 AI 모델에서도 판단을 흐리게 하거나 다양한 윤리적인 문제가 있었다"라며 "지금까지는 대부분 연구실에서 관련 문제가 발생해 인간에게 큰 영향을 주지 않았다”라며 이같이 설명했다. 이어 "최근 AI 성능이 좋아지고 생성형 AI 시대가 되면서 이런 리스크가 커지고 극대화됐다”고 덧붙였다.

이번 AI미래포럼 스타트업 라운드테이블은 한경 긱스와 '바른 과학기술사회 실현을 위한 국민연합'(과실연) AI미래포럼(AIFF), 캡스톤파트너스가 주최했다. 유망 AI 스타트업과 투자자를 이어주기 위해 마련했다. 에임인텔리전스는 LLM(거대언어모델) 등 생성형 AI 서비스를 안전하게 활용하고 관련 리스크를 진단해 일종의 가드레일(안전장치)을 만드는 기업이다.

유 대표는 "생성형 AI엔 이전과 다른 자율성이 AI에 부여됐고 자율성이 부여된다는 것은 결국 결과물에 대한 사람의 감시가 적다는 얘기"라고 말했다. 그는 "에이전트 측면에서 이용자는 더 많은 권한을 AI에 부여하려고 하고 중요한 영역들에서 판단도 AI에 맡기려고 한다"고 지적했다.

유 대표는 "워낙 다양한 시나리오로 AI와 대화할 수 있기 때문에 이제 필터링 방식으로 문제를 잡아내기 어려운 측면이 있다"며 "크게 세 가지로 구분해 생성형 AI 문제의 설명이 가능하다"고 말했다. 첫번째는 일명 '탈옥'이다. 이용자가 AI 서비스의 필터링을 피해 악의적인 성과물 등을 얻는 것이다.

두번째는 AI에 너무 의존하는 경우다. 환각현상, 편견에 따른 결과 등을 얻을 수 있다. 유 대표는 "모호한 자연어로 AI에 제대로 지시하지 못하는 경우도 있다"고 설명했다. 그는는 "AI 학습에 활용된 데이터의 유출, AI를 범죄에 활용하는 경우 등의 문제도 발생할 수 있다"고 말했다.

생성형 AI 관련 위험 요소는 10개 이상으로 제시할 수 있다. 화학·생물학·핵·방사능 위협(CBRN), 위험하거나 폭력적인 권유, 개인정보 유출, 지식재산권 침해, 음란물 생성 등이다. 유 대표는 "관련 규제와 규정이 필요하고 새로운 리스크에 대응해야 한다"고 지적했다.

유 대표는 "이런 생성형 AI 서비스 등의 문제를 가드레일 시스템으로 대응이 가능하다"고 말했다. 그는 "입력값(잇풋)이나 출력값(아웃풋)을 필터링(검열)하는 경우도 있는데 단순 키워드나 주제 등을 대상으로 할 수도 있다"고 말했다. 실제 미드저니 등에서는 이용자가 입력한 내용이나 생성된 콘텐츠에 대해 거절하거나 경고하는 문구가 뜬다.

유 대표는 "관련 프롬프트에 '안전하게 행동하라' 등의 지시를 기본적으로 추가하는 방법도 있다"고 말했다. AI 학습 과정에서 안정성을 강화하는 등 다른 방법도 가드레일 시스템을 구축하는 데 도움이 된다.

김주완 기자 kjwan@hankyung.com