사진 확대

기업들의 인공지능(AI) 전환 열풍이 한차례 불고 간 시점, AI를 통한 생산성 향상과 함께 비용 관리가 기업들의 고민사항으로 부상했다.

기업들이 AI 에이전트 도입을 늘리면서 이로 인해 소모하는 토큰의 비용 청구서가 기업들 앞으로 날아오기 시작한 것이다. 미국 AI 연구기관 에포크AI에 따르면 이제 특정 성능 수준을 추론하는 AI 토큰 비용은 매년 40분의 1 수준으로 줄어들고 있지만, AI 에이전트 확산으로 사용량이 폭증하면서 총비용이 단가 하락을 압도하는 수준으로 증가하고 있다.

사진 확대

AI에서 ‘토큰’은 AI가 텍스트를 읽고 쓰는 최소 데이터 단위를 말한다. AI 서비스의 요금 단위는 이 토큰에서 시작한다. 그렇다 보니 이제는 기업들 사이에서 토큰을 어떻게 효율적으로 활용해야 할지를 논의하는 ‘토크노믹스’ 개념이 확산되고 있다. 토큰이 화두로 떠오르면서 업계에서는 토큰의 측정 방식 등을 위한 공통 기준을 만들려는 논의도 시작됐다. 지난 8월 4일, 오픈소스 비영리 단체인 리눅스재단은 ‘토크노믹스 재단’을 출범했다. 창립 멤버로는 액센추어, 브로드컴, 히타치, IBM, 레노버, 오라클, SAP 등이 합류했다. AI 토큰 비용을 측정하는 방식을 표준화하고, 토큰 지출을 사업 가치와 연결하도록 하겠다는 것이다.

올해 초만 해도 토큰을 많이 사용하는 직원이 ‘AI를 잘 쓰는 인재’라는 인식으로 이어지면서, 미국 실리콘밸리를 포함해 토큰 사용을 극대화하는 ‘토큰맥싱(Tokenmaxxing)’ 문화가 부상했다. 개발자 사이에서 앤트로픽의 AI 코딩 도구인 ‘클로드 코드’ 사용이 보편화되고, 이 같은 도구를 활용해 AI와 함께 일하고 에이전트를 개발하는 것이 일상화 되면서다. 토큰을 적게 사용하는 것은 곧 AI 활용에서 뒤처진 것으로 연결되고 반대로 토큰을 많이 쓰는 것은 AI를 잘 사용하는 것으로 비치면서 토큰맥싱에 불이 붙었다.

메타에서는 올해 초 직원들 사이에서 AI 토큰 사용량을 경쟁하는 ‘클로드노믹스’ 리더보드가 성행하기도 했다. 메타 임직원 약 8만5000명의 토큰 사용량을 집계한 다음 상위 250명의 순위를 공개하는 식이다.

한국 기업들 사이에서도 토큰맥싱 열풍이 일었다. 직원들의 AI 활용 능력이 곧 기업 경쟁력으로 이어진다는 인식에 따라 직원들의 토큰 사용을 늘리기 위해 가장 비싼 클로드 요금제를 지원한다거나, 메타처럼 리더보드를 운영하는 사례도 나왔다. 가상자산 거래소 코인원의 경우 아예 게시판을 통해 ‘AI 토큰 사용 대시보드’를 만들어 직원들의 실시간 순위를 매기기도 했다. 이 같은 흐름이 꺾인 것은 메타가 AI 과다 사용에 따른 비용 폭증이라는 부작용을 겪으면서다. 미국 IT 전문매체 디인포메이션에 따르면 메타 임직원이 30일간 소비한 토큰은 60조 개를 넘어섰고, 1위에 해당하는 직원의 토큰 소비량은 2810억 개에 달했다.

당시의 일반 응용 프로그래밍 인터페이스(API) 가격을 적용할 경우 대략 9억 달러(약 1조2700억원)에 달하는 수준이다. 일부 직원은 리더보드 상위권에 오르기 위해 에이전트에게 여러 작업을 동시에 명령하며 사용량을 부풀리면서, 전체 토큰 사용량은 73조7000억 개까지 치솟기도 했다. 이에 메타는 리더보드를 폐지하고, 반대로 AI 사용량과 지출을 추적하고 토큰 한도를 관리할 수 있는 체계를 마련했다. 무제한 토큰 사용에서 효율적인 관리로 방향을 선회한 것이다. 당시 앤드루 보스워스 메타 최고기술책임자(CTO)는 “단순히 AI 도구를 사용하는 것 자체가 목적이 되어서는 안 된다”라며 “토큰 사용량만으로는 어떠한 영향력도 측정할 수 없다”라고 못 박았다.

사진 확대

이후 아마존 또한 사내 순위표인 ‘키로(Kiro) 랭크’를 폐지하는 등 토큰맥싱이 해체되기 시작했다. 우버는 클로드 코드와 코덱스에 배정한 연간 예산을 4개월 만에 다 써버린 뒤, 직원 1인당 월 1500달러 상한을 설정했다.

이제는 초점이 가장 많은 토큰을 쓰는 것에서 토큰을 효율적으로 활용하는 것으로 옮겨가고 있다. 프라빈 네팔리나가 우버 최고기술책임자(CTO)는 지난 8월 자신의 소셜미디어를 통해 “‘토큰맥싱’으로 불리는 시대는 끝나가고 있다”라며 “AI 사용이 가속화됨에 따라 비용이 상승할 것으로 예상하겠지만, 우리는 정반대의 결과를 봤다”라고 말했다.

나가 CTO는 우버에서 프런티어 AI 도구를 쓰는 직원 수가 4배 이상 늘었지만 토큰당 비용은 오히려 줄어들었다면서 “엔지니어링 측면에서 AI 효율성으로 접근했기 때문”이라고 설명했다. 토큰을 어떻게 효율적으로 활용하는지가 앞으로 더욱 중요해질 것이라는 말이다.

기업들은 어떻게 하면 AI를 통해 생산성을 늘리면서도 비용은 효율적으로 관리할 수 있을지를 고민하기 시작했다.

AI 모델 라우팅 플랫폼인 오픈라우터의 주간 토큰 사용량을 보면, 8월 초 기준 주간 토큰 사용량은 약 70조 개를 넘어선다. 지난해 같은 기간 약 3조 개 내외였다는 점을 비교하면 20배 이상 토큰 사용량이 치솟은 셈이다.

물론 고성능 AI 모델의 토큰 비용은 낮아지고 있지만, 이것이 곧 비용 감소로 이어지진 않을 것이라는 전망이 우세하다. 비용이 낮아지는 만큼 사용량은 덩달아 늘어나는 제번스의 역설이 AI에서도 나타나고 있기 때문이다. 시장조사기관 가트너는 “2030년까지 1조 개 파라미터를 갖춘 LLM의 추론 비용이 2025년보다 90% 이상 낮아질 것”이라고 내다보면서도 “고도화된 지능은 훨씬 더 많은 토큰이 필요할 것”이라고 말했다. 가트너는 에이전틱 AI 사용 사례를 예로 들면서, 기존의 생성형 AI 챗봇 보다 작업당 토큰 소모량이 최소 5배에서 최대 30배에 달한다고 설명했다.

토큰 비용을 관리하기 위한 가장 기본적인 접근은 모델의 성능뿐만 아니라 입·출력 토큰 가격과 적용 분야를 고려해 효율적인 모델을 택하는 것이다.

마이크로소프트는 최근 개발자들이 사용하는 기본 코딩 모델을 오픈AI의 ‘GPT-5.6 솔(Sol)’로 지정했는데, 해당 모델이 오픈AI의 경쟁사인 앤트로픽 모델보다 효율성 측면에서 더 낫다고 판단한 것이 그 배경이다.

특히 AI를 적용하는 작업의 성격에 따라 적절한 모델을 활용하는 오케스트레이션(조율) 기술이 중요해지고 있다. 닭 잡는 데 소 잡는 칼을 쓰지 않듯, 회의록 요약과 같은 단순 작업에 비싼 최상위 모델을 쓰기보다 작고 효율적인 모델을 택하는 것이다.

모델별 토큰 가격을 비교해보면 비용 차이가 눈에 띈다. 8월 기준 전 세계에서 가장 똑똑한 모델로 꼽히는 것은 앤트로픽의 최신 플래그십 모델인 ‘클로드 오퍼스 5’로, AI 성능 평가 기관 아티피셜 애널리시스 지능 지수에서 63점을 기록하며 1등을 차지하고 있다. 해당 모델의 토큰 가격은 100만 토큰 입력당 5달러·출력당 25달러다.

상대적으로 비용 효율적인 모델로 꼽히는 것은 딥시크의 ‘딥시크 V4 플래시’가 있다. 오픈라우터에서 사용량 선두권을 달리는 모델로, 토큰 가격은 100만 토큰당 입력 0.08달러·출력 0.252달러다. 단순 계산으로 비교해보면 앤트로픽 오퍼스5 모델이 입력 토큰은 약 62.5배, 출력은 약 99배 더 비싸다.

사진 확대

만약 효율적인 모델을 적용해도 되는 사례에 비싼 모델을 쓴다면 그 비용 차이가 100배까지 벌어질 수 있는 셈이다. 가트너 또한 “일상적인 반복 작업은 효율적인 소형 모델이나 도메인 특화 모델이 수행하도록 해야 한다. 이들은 특정 워크플로에서 훨씬 적은 비용으로 더 뛰어난 성능을 발휘할 수 있다”라며 “프런티어급 모델을 통한 비싼 추론은 복잡한 고마진 추론 작업에 활용해야 한다”라고 말했다.

실제로 액센추어는 자사 내부 플랫폼에서 매주 약 8조 7000억 개의 토큰을 처리하고 있는데, 작업마다 적절한 모델을 배정하는 방식을 통해 프런티어 모델을 쓰는 것과 비교해 비용을 약 6분의 1 수준으로 운영했다고 밝히기도 했다. AI 모델 사용 추이와 사용량에 대한 가시성을 확보하는 것도 기본적인 대응이다. 게이트웨이를 통해 기업의 AI 트래픽을 관리함으로써 전 사적인 사용 체계를 모니터링하고, 토큰 사용량을 개인, 부서 단위로 관리하는 사례도 나오고 있다.

AI 비용을 측정하고 비교하는 방식도 토큰당 가격과 토큰 사용량만 계산하는 것을 넘어 실제로 AI가 특정 업무를 완료하기까지의 업무당 비용을 고려하는 방향으로 확장되고 있다. 아무리 토큰 가격이 저렴한 모델을 이용하더라도 업무를 완결하기 위해 불필요한 과정을 여러 차례 반복해야 한다면 비용은 늘 수 있어서다.

기업들 또한 기업 내부의 AI 사용 사례별로 다양한 모델 선택지를 고려하면서, AI 워크플로에서는 불필요한 과정을 줄여 효율성을 높이는 것이 필요하다.

아직까지 토큰 사용량 등 AI 활용에 대한 통합적인 거버넌스를 갖춘 기업은 많지 않다. KPMG가 미국 기업 204곳의 경영진을 대상으로 진행한 2026년 2분기 AI 펄스 설문조사에 따르면, 66%의 기업들은 모니터링 대시보드를 갖추고 있긴 했지만, AI 운영 비용을 실시간으로 파악하고 있는 조직은 26%에 불과했다. 기업들이 토큰과 AI 시스템에 투입하는 비용만큼 아직 가시적인 AX 효과가 나타나지 않고 있는 흐름도 목격된다.

올해 초 PwC가 95개국 최고경영자(CEO) 4454명을 대상으로 조사해 공개한 글로벌 CEO 서베이에 따르면, 지난 1년간 AI로 인한 매출 증가나 비용 절감을 경험하지 못했다는 응답이 56%에 달했다. 매출 증가와 비용 절감을 모두 달성한 곳은 12%에 불과했으며, 비용이 오히려 늘었다는 응답도 22%나 됐다.

AI에 대한 투자가 본격적인 성과로 드러나기에는 시간이 더 필요한 시점인 것이다. 아직 전 사 차원에서 AI를 도입하고 업무 프로세스를 전환한 곳도 많지 않다. 국내에서도 원티드랩이 올해 초 진행한 설문에 따르면 전 사 차원에서 AX를 도입한 기업은 5.3%에 그쳤으며 대부분의 기업(79.7%)이 시범 적용이나 검토 단계에 머무른 것으로 나타났다.

효과적인 AI 도입과 기업 체질 전환을 위해서는 토큰 사용량을 포함한 거버넌스는 물론 전 사 차원에서 AI 전략의 일관성이 중요하다는 분석이 나온다. PwC 또한 올해 초 조사와 관련해 AI 추진 로드맵, 책임 있는 AI와 리스크 관리 프로세스, 활용 촉진 조직 문화 등이 중요하다며 행동에 나서는 기업과 그렇지 않은 기업의 격차가 빠르게 확대될 것이라고 설명했다.

[정호준 기자]