김기완 AWS 총괄 "AI 성패, 전략·데이터·운영에서 갈린다"⋯AX 성과 전략 제시

[아이뉴스24 최효경 기자] "인공지능(AI)은 선택이 아닌 필수가 됐습니다. 기업의 질문도 '할 것인가'가 아니라 '어떻게 할 것인가'로 바뀌었습니다."

김기완 AWS코리아 AI 사업 총괄 디렉터는 23일 강남구 그랜드 인터컨티넨탈 서울 파르나스에서 열린 'AWS AI WAVE 2026' 기조연설을 통해 "기업 AI 도입의 성패는 모델 자체보다 전략과 데이터, 운영 체계를 얼마나 갖췄는 지에 달렸다"며 이같이 강조했다.

개별 부서의 실험(PoC)을 반복하는 방식에서 벗어나, 사업 목표를 먼저 정한 뒤 AI가 활용할 수 있게 정비한 데이터와 공통 운영·거버넌스 기반을 갖춰 실제 업무 애플리케이션으로 연결해야 한다는 게 그의 조언이다.

"전략부터 애플리케이션까지"⋯전사 공통 운영 기반 강조

김기완 총괄은 기업의 AI 도입이 PoC을 넘어 실제 서비스와 업무에 적용되는 단계로 옮겨가고 있지만, 상당수가 성과 창출과 전사 확산에는 어려움을 겪고 있다고 진단했다. 그는 "AI를 도입한 기업은 88%에 달하지만 실제 성과를 낸 비율은 6%에 그친다"고 했다.

김 총괄이 제시한 AI 성과 방해 요인은 △목표 없이 반복되는 PoC와 사업 전략 부재 △업무 맥락이 빠진 데이터 △비용·보안·품질을 통제하지 못하는 운영 환경 △부서별 중복 개발과 이른바 '섀도 AI' 확산 등이다. 섀도 AI는 회사의 승인·관리 체계 밖에서 임직원이 개별적으로 AI 도구를 사용하는 현상을 말한다.

김 총괄은 이를 해결하기 위한 전사 AI 체계를 전략, 데이터, 플랫폼, 애플리케이션의 네 개 층으로 제시했다. 그는 "전략 단계에서는 비즈니스 성과를 기준으로 AI 과제의 우선순위를 정하고 데이터 단계에서는 의미 체계와 지식 그래프 등을 활용해 AI가 업무 맥락을 이해할 수 있도록 해야 한다"고 설명했다. 이어 "플랫폼 단계에서는 인증·권한 관리, 보안 가드레일, 모델 선택과 배분, 사용 비용 관리, 로그·감사 기능을 공통으로 제공해야 한다"고 말했다.

부서마다 인사·영업·정보기술(IT) 지원 등 각기 다른 AI 에이전트를 만들더라도, 그 아래에는 공통 서비스가 필요하다고 봤다. 김 총괄은 "에이전트코어와 아마존 베드록, 지식기반 기능을 토대로 여러 모델을 쓰면서도 접근 권한과 비용, 보안을 중앙에서 관리해야 중복 투자와 섀도 AI를 줄일 수 있다"며 "AI를 활용한 조직은 일회성 프로젝트 단위가 아니라, 계속 성능을 개선하고 새 기술을 빠르게 적용할 수 있는 제품 단위의 운영 문화를 갖춰야 한다"고 말했다.

카카오, "카나나 학습은 AWS·서비스 추론은 정부 지원 GPU로"

이 같은 전사 AI 운영 구조의 사례로는 카카오의 '모두의 AI' 인프라 전략이 소개됐다. 카카오는 카카오톡을 이용자 접점으로 삼아 자체 AI 모델 '카나나'와 AI 에이전트를 연결하는 '모두의 AI' 구상을 추진하고 있다. 향후 공공 서비스와 특화 AI 서비스, AI 에이전트 등록·유통 체계 등을 연결하는 플랫폼으로 확대한다는 계획이다.

김세웅 카카오 AI 커뮤니케이션 및 시너지 부사장은 "카나나 모델 학습에는 AWS의 대규모 AI 학습 인프라인 '아마존 세이지메이커 하이퍼팟'을 활용하고 상시 트래픽을 처리하는 서비스 추론은 정부 지원 그래픽처리장치(GPU)를 활용한 온프레미스 환경에서 맡기는 방식"이라고 설명했다 대규모 모델 학습과 실제 서비스 추론 환경을 분리했다는 것이다.

김 부사장은 "학습은 클라우드에서 탄력적으로, 꾸준한 추론은 온프레미스에서 안정적으로 운영할 것"이라며 "학습 단계에서는 필요한 만큼 GPU를 늘리거나 최신 장비로 전환할 수 있어야 하는 반면, 서비스 단계에서는 안정적인 처리와 비용 예측이 중요하다"고 말했다.

AWS를 택한 이유로는 GPU 자원의 유연한 확보와 장애 노드 자동 교체, 체크포인트 기반의 학습 재개, 팀·과제별 GPU 할당 관리 등을 들었다. 그는 "인프라 운영은 AWS에 맡기고 카카오 내부 연구진은 모델 개발에 집중하겠다"며 "향후 카나나 모델군을 고도화하고 AI 에이전트 마켓플레이스, 범용 AI 보조 서비스 등으로 '모두의 AI' 적용 범위를 넓혀갈 계획이다"고 말했다.

AWS가 제시한 전사 공통 운영 기반이 단순한 AI 도입을 넘어 대규모 서비스 확산 단계에서 어떤 역할을 하는지 보여주는 사례다.