| Summary – 회원사 설문에서 69.6%가 AI 성과 판단이 어렵거나 확산이 제한적이라고 답한 반면, AX 과제 선정 1순위 기준은 ROI·재무효과(30.4%)로 나타나 ‘측정’과 ‘의사결정’ 사이의 간극이 확인됐다. – 이창열 메타넷디지털·스켈터랩스 대표는 토큰 소비량을 겨루는 ‘토큰맥싱’ 대신, 사업 가치를 기준으로 삼는 ‘밸류맥싱’을 새로운 경쟁 기준으로 제안했다. – 패널 전문가들은 재사용 가능한 ‘지식 기반’ 투자와 ‘견제와 균형’ 거버넌스를 AI 투자 ROI를 높이는 해법으로 제시했다. |
기업의 AI 투자가 확대되면서 경영진의 질문도 달라지고 있습니다. 도입 여부를 묻던 단계는 지났고, 투입한 비용만큼 사업가치가 나오는지, 검증된 AI를 어디까지 확산할지가 새로운 경영 과제가 됐습니다.
매경AX클럽은 이러한 고민을 함께 논의하는 Executive 프로그램으로, 여러 산업의 AX 프로젝트를 설계·구축·운영해 온 메타넷이 매경미디어와 공동 기획·운영합니다. 회원사들이 실제 추진 중인 AX 과제를 놓고 공통의 문제를 논의하는 리뷰보드, 그 첫 세션의 주제는 ‘AI 투자 ROI 측정 및 거버넌스’였습니다.
AI를 도입한 기업들은 왜 성과를 설명하기 어려운가?
가장 큰 이유는 성과를 판단할 기준이 아직 확립되지 않았기 때문입니다. 세션에 앞서 진행한 회원사 설문에서 AX 추진 성과를 두고 ‘성과 판단이 어렵다’ 또는 ‘성과는 있으나 확산이 제한적이다’라고 답한 비율이 69.6%였습니다. 10곳 중 7곳은 AI에 투자하면서도 그 투자가 어떤 성과를 만들었는지 자신 있게 말하지 못한다는 뜻입니다.
반면 AX 과제를 선정할 때 가장 중요하게 보는 기준으로는 ROI와 재무효과가 30.4%로 1위를 차지했습니다. 측정하기 가장 어려운 항목이 곧 투자 결정의 가장 중요한 기준이 되는 역설이 벌어지고 있는 셈입니다.
거버넌스도 사정이 비슷합니다. AI 사용 가이드라인은 있으나 실행 체계가 약하거나 아직 명확한 기준이 없다고 답한 비율이 60.8%에 달한 반면, 전사 차원의 공식 정책과 승인 프로세스를 갖췄다는 응답은 21.7%에 그쳤습니다.
리뷰보드 현장의 고민도 같았습니다. ‘PoC(개념검증, 본격 도입 전 기술과 효과를 검증하는 단계)’에서 생산성 개선은 확인되지만 이를 재무 성과로 어떻게 연결할지, 늘어나는 부서별 AI 과제를 어떤 기준으로 통합·중단할지, 빠른 실행과 보안·통제 사이의 기준선을 어디에 둘지를 두고 토의가 이어졌습니다.
AI 성과는 무엇으로 측정해야 하나: ‘사용량’이 아닌 ‘사업 가치’
이창열 메타넷디지털·스켈터랩스 대표는 발제에서 기업 AI의 경쟁 기준을 바꾸자고 제안했습니다. ‘토큰(token, AI 모델이 텍스트를 처리하고 비용을 계산하는 기본 단위)’을 얼마나 많이 쓰느냐를 겨루는 ‘토큰맥싱(token maxxing)’이 아니라, 토큰을 효율적으로 써서 기업가치를 높이는 ‘밸류맥싱(value maxxing)’이 기준이 돼야 한다는 것입니다.
사용량과 토큰 소비량 증가만으로는 투자 성과를 설명할 수 없습니다. 확인해야 할 것은 AI가 업무시간·처리량·품질을 얼마나 개선했는지, 매출과 고객 경험, 리스크 감소에 어떤 영향을 미쳤는지입니다.
비용 계산도 달라져야 합니다. AI를 실제 업무에 적용하면 모델·토큰 사용료 외에 인프라, 데이터, 시스템 연계, 보안, 거버넌스, 변화관리, 운영 비용이 함께 발생합니다. 이 대표는 토큰 비용이 에이전트 워크플로우 전체 비용의 30% 남짓이라며, 토큰 비용만으로 경제성을 판단하면 실제 운영비용의 상당 부분을 놓칠 수 있다고 설명했습니다. 절감한 업무시간과 추가 처리량, 매출 기여, 품질 개선과 리스크 감소분을 가치로 환산해 ‘총소유비용(TCO, 도입부터 운영까지 드는 전체 비용)’과 비교하는 평가가 필요한 이유입니다.
평가 기준은 AI 도입 단계에 따라 달라집니다. 초기에는 AI가 사람보다 빠르고 정확하게 업무를 수행하는지가, 운영 단계에서는 TCO를 감안하고도 충분한 가치를 만들어내는지가, 성숙 단계에서는 새로운 상품과 매출 기회를 창출하거나 사람이 찾기 어려운 패턴을 발견하는지가 핵심 기준이 됩니다.
에이전트의 수 역시 성과 지표가 될 수 없습니다. 수백 개의 에이전트가 있어도 각각의 담당 업무와 비용, 성과를 알 수 없다면 오히려 새로운 기술 부채가 됩니다. 기업은 에이전트를 디지털 자산으로 관리하며 사업 목적과 책임자, 접근 데이터, 비용과 성과를 파악하고, 가치가 확인된 에이전트는 확산하고 기능이 중복되면 통합하며 비용이 가치를 초과하면 종료할 수 있어야 합니다.
AI 투자 ROI를 높이기 위한 방법은?
패널 전문가들은 AI ROI를 단순한 비용 절감률이나 일회성 투자 성과로 판단해서는 충분하지 않다는 데 의견을 같이했습니다.
송윤상 메타넷글로벌 성장전략실 전무는 AI 프로젝트마다 실패의 원인과 시점, 비용이 제각각인 만큼 시행착오를 낮은 비용으로 빠르게 축적해 조직의 자산으로 바꾸는 능력이 성과를 가른다고 설명했습니다.
그 토대가 기업의 용어와 업무 관계를 일관되게 정의한 ‘지식 기반(Knowledge Foundation)’입니다. 같은 ‘상품’이라는 용어를 부서마다 다르게 해석하면 AI도 일관된 답을 내놓기 어렵습니다. 초기 정비 비용은 들지만, 한번 구축한 지식 기반을 여러 업무와 에이전트에 반복 활용하면 확산 단계의 투자 효율이 높아집니다.
지식 기반이 충분하면 업무 특성에 따라 저비용 모델, ‘온프레미스(on-premises, 외부 클라우드가 아닌 기업 내부 인프라에 시스템을 구축하는 방식)’ 모델, 고성능 상용 모델을 골라 조합할 수 있어 특정 모델 의존도와 LLM 비용도 함께 낮출 수 있습니다.
음병찬 임페라이(IMPERAI) 대표는 현재 기업 AI 시장을 ROI 방법론이 확립되기 전의 탐색 단계로 진단하고, 개별 프로젝트의 확정 수익만 계산하기보다 실험 한 건당 비용, 성공한 실험을 확산하는 기준, 실패에서 얻은 학습 효과를 함께 관리해야 한다고 제언했습니다.
측정 방식도 달라져야 합니다. 기존 IT 프로젝트가 착수 전 타당성 검토와 종료 후 성과 측정으로 관리됐다면, AI는 모델 성능과 사용 패턴에 따라 비용과 결과가 계속 변하므로 운영 과정에서 비용·품질·성과를 상시 점검해야 합니다.
측정 단위도 토큰·모델·에이전트별 비용에서 실제 업무 활동과 비즈니스 성과로 확장돼야 합니다. ‘온톨로지(ontology, 업무 개념과 관계를 기계가 이해할 수 있게 정의한 지식 모델)’나 ‘시맨틱 레이어(semantic layer)’로 AI의 활동을 기업 업무 체계와 연결하는 ‘AI FinOps(AI 운영 비용을 재무 관점에서 상시 관리하는 방법론)’에 가까운 시도도 소개했습니다. 중견·중소기업에는 고가 플랫폼에 대한 대규모 선투자보다 저비용 모델과 온프레미스 환경, 전문 사업자 솔루션을 조합해 실험하고, 성과가 확인된 영역부터 단계적으로 투자를 확대하는 접근을 권했습니다.
패널 토론에서 이창열 대표는 거버넌스의 핵심 과제로 경영진과 현업의 온도 차이를 지목했습니다. 최고경영진은 AI 도입이 시급하다고 느끼지만, 현업은 데이터 부족과 업무 부담, 보안 규정, 시스템 제약에 부딪힙니다.
이 간극을 메우는 구조가 ‘견제와 균형(Check and Balance)’입니다. CEO가 AI 전략의 방향을 제시하고 ‘CAIO(Chief AI Officer, 최고AI책임자)’ 또는 AX 전담조직이 활용 사례 발굴과 확산을 주도하되, CIO와 CISO가 비용·아키텍처·보안·통제 관점에서 균형을 잡는 구조입니다. 특정 조직이 속도만 앞세워 AI를 추진하다 사고가 나면 조직 전체의 AI 도입이 위축될 수 있기 때문입니다.
실행 측면에서는 지식 기반과 규칙, 기존 시스템으로 처리할 수 있는 업무는 분리하고 실제 추론이 필요한 영역에만 LLM을 적용하는 설계를 제시했습니다. 보안이 중요한 금융권에는 오픈 모델과 온프레미스를 기본으로 하고 필요한 업무에만 클라우드 모델을 쓰는 하이브리드 구성을, 제조업에는 데이터 준비도가 확보된 영역에서 먼저 성과를 만들고 적용 범위를 넓히는 순서를 권했습니다.
ROI와 거버넌스는 하나의 경영 과제다
ROI와 거버넌스는 별개의 문제가 아닙니다. 무엇을 가치로 볼 것인지가 정해져야 투자 우선순위가 나오고, 우선순위가 있어야 어떤 AI를 확산하고 어떤 AI를 종료할지 판단할 수 있습니다. 데이터와 비용, 권한과 실행 이력을 관리할 수 있어야 측정된 성과도 신뢰할 수 있습니다. AI 투자를 두고 이제는 무엇으로 돌아왔는가를 묻습니다. 얼마나 도입했는가를 묻던 질문은 뒤로 물러나고 있습니다. 그 물음에 답할 기준과 책임 체계를 만드는 일은 경영진의 몫입니다.
기업의 AI ROI 관리는 다음 네 방향으로 옮겨 갈 필요가 있습니다.
– 비용 절감 중심의 평가에서 직원 역량, 고객 경험, 매출과 기업가치 등 사업가치 중심의 평가로 확대해야 합니다.
– 프로젝트 전후의 일회성 측정에서 벗어나 운영 과정에서 비용·품질·성과를 꾸준히 추적해야 합니다.
– 특정 LLM이나 플랫폼에 대한 투자보다 온톨로지, 데이터, 암묵지 등 재사용 가능한 기업 지식 기반에 우선 투자해야 합니다.
– AI 전담조직의 추진력과 IT·보안 조직의 통제 역량이 균형을 이루는 거버넌스 체계를 구축해야 합니다.
앞으로 기업 간 AI 성과 격차는 운영 역량에서 갈릴 가능성이 높습니다. 모델이나 에이전트를 몇 개 보유했느냐보다, 가치를 측정하고 학습해 검증된 AI를 반복적으로 확산할 수 있느냐가 더 크게 작용한다는 것입니다.
AI 투자 ROI와 거버넌스는 더 이상 개별 기술 프로젝트의 관리 항목만으로 보기 어렵습니다. 어떤 투자에 자원을 배분하고, 무엇을 기업의 지식으로 축적하며, 어느 수준의 위험을 감수할지를 결정하는 C레벨의 경영 과제로 다뤄야 합니다.
매경AX클럽은 앞으로도 메타넷과 매경미디어가 축적한 AX 실행 경험과 산업 인사이트를 바탕으로 AI 거버넌스, Agentic AI, 데이터·보안 등 AX 전환을 앞둔 기업 경영진이 마주하는 현실적인 의사결정 과제에 대해 실행 가능한 기준을 지속적으로 제시하겠습니다.
FAQ
Q1. AI 투자 ROI는 어떻게 계산해야 하나요?
모델·토큰 사용료 대비 효과가 아니라, 절감한 업무시간·추가 처리량·매출 기여·품질 개선·리스크 감소분을 가치로 환산해 ‘총소유비용(TCO)’과 비교해야 합니다. 토큰 비용은 에이전트 워크플로우 전체 비용의 30% 남짓에 불과해, 토큰 비용만 보면 실제 운영비용의 상당 부분을 놓치게 됩니다.
Q2. ‘토큰맥싱’과 ‘밸류맥싱’은 무엇이 다른가요?
‘토큰맥싱(token maxxing)’은 AI 사용량, 즉 토큰 소비를 늘리는 데 집중하는 접근이고, ‘밸류맥싱(value maxxing)’은 토큰을 효율적으로 써서 업무시간 절감, 매출, 고객 경험 같은 사업 가치를 높이는 접근입니다. 사용량이 늘어도 사업 가치로 이어지지 않으면 투자 성과를 설명할 수 없다는 문제의식에서 나온 개념입니다.
Q3. AI 거버넌스의 ‘견제와 균형(Check and Balance)’ 구조란 무엇인가요?
CEO가 AI 전략의 방향을 제시하고 CAIO 또는 AX 전담조직이 활용 사례 확산을 주도하되, CIO·CISO가 비용·아키텍처·보안·통제 관점에서 균형을 잡는 구조입니다. 속도만 앞세운 추진으로 사고가 나면 조직 전체의 AI 도입이 위축될 수 있어, 추진력과 통제 역량을 함께 설계하는 것이 핵심입니다.
Q4. 중견·중소기업은 AI 투자를 어떻게 시작해야 하나요?
고가 플랫폼에 대한 대규모 선투자보다 저비용 모델, 온프레미스 환경, 전문 사업자의 솔루션을 조합해 실험하고, 성과가 확인된 영역부터 단계적으로 투자를 확대하는 접근이 현실적입니다.
Q5. AI 에이전트는 왜 ‘디지털 자산’으로 관리해야 하나요?
에이전트마다 담당 업무와 책임자, 접근 데이터, 비용과 성과를 파악할 수 없으면 수백 개의 에이전트가 오히려 새로운 기술 부채가 되기 때문입니다. 가치가 확인된 에이전트는 확산하고, 기능이 중복되면 통합하며, 비용이 가치를 초과하면 종료하는 판단이 자산 관리의 출발점입니다.
