조지 캐머런(George Cameron) 아티피셜 애널리시스(Artificial Analysis·AA) 공동창업자가 한국을 미국과 중국에 이은 세계 3대 AI 생태계 가운데 하나로 평가했다. 다만 개별 AI 모델의 지능 성능만 놓고 보면 아직 미국과 중국의 프런티어 모델에는 뒤처져 있다고 진단했다.
캐머런은 한국 기업들이 반드시 세계 최고 성능의 모델을 보유하지 않더라도 비용 효율성과 오픈웨이트, 한국어와 산업 특화 역량 등을 앞세워 충분히 경쟁할 수 있다고 평가했다. 동시에 이러한 경쟁력을 유지하기 위해서는 특정 산업에만 집중하기보다 범용지능에 대한 연구개발을 지속해야 한다고 강조했다.
아티피셜 애널리시스 최고제품책임자(CPO)를 맡고 있는 캐머런은 9월 14일 서울 마곡 LG사이언스파크에서 열린 ‘LG AI 토크콘서트’에서 이홍락 LG AI연구원장과 대담하며 이같이 말했다.
아티피셜 애널리시스는 글로벌 AI 모델의 지능 성능과 비용, 속도 등을 비교·평가하는 독립 AI 벤치마킹 기업이다. 미카 힐스미스(Micah Hill-Smith)와 조지 캐머런이 공동창업했으며, AI 모델과 추론 서비스의 성능을 비교하는 각종 지표를 공개하고 있다. 캐머런은 데이터센터와 기술 기업 등을 다룬 전략 컨설팅 분야에서 경력을 쌓았다.
캐머런 CPO는 지난 1년간 한국 AI 산업이 빠르게 성장하면서 미국과 중국에 이은 글로벌 톱3 수준의 AI 생태계로 부상했다고 평가했다.
LG AI연구원을 비롯한 국내 모델 개발사들의 기술 발전과 정부의 ‘독자 AI 파운데이션 모델 개발사업’ 등이 한국 AI 모델의 성능을 끌어올리는 데 영향을 미쳤다는 설명이다.
다만 그는 생태계의 성장과 개별 모델의 최고 성능은 구분해서 봐야 한다고 지적했다. 순수한 ‘지능(Intelligence)’ 성능만 비교하면 한국 모델은 여전히 미국과 중국의 선도 모델에 뒤처져 있다는 것이다.
그럼에도 캐머런은 모델의 경쟁력을 지능 점수 하나로만 판단해서는 안 된다고 강조했다. 모델에 따라 실제 작업 비용이 100배 이상 차이 날 수 있고, 오픈웨이트 여부나 자체 운영 가능성, 특정 언어와 산업에서의 성능 역시 기업의 모델 선택을 좌우하기 때문이다.
캐머런은 특히 최근 오픈웨이트(open-weight) 모델과 최상위 프런티어 모델 사이의 성능 격차가 빠르게 줄어들고 있다는 점에 주목했다.
오픈웨이트 모델은 학습이 완료된 AI 모델의 가중치(weights)를 공개해 기업이나 개발자가 내려받아 직접 운영하거나 추가 학습할 수 있도록 한 모델을 말한다. 가중치뿐 아니라 코드와 학습 과정에 관한 정보 등 시스템을 연구·수정할 수 있는 폭넓은 공개를 요구하는 오픈소스 AI와는 공개 범위에서 차이가 있다.
LG AI연구원 역시 엑사원(EXAONE) 3.0 이후 국내외 연구자와 개발자가 활용할 수 있도록 모델 가중치 공개를 확대해왔다.
캐머런에 따르면 최근 선도적인 오픈웨이트 모델은 오픈AI나 앤트로픽 등에서 개발한 최상위 프런티어 모델보다 대체로 3~9개월 정도 뒤처지는 수준을 유지하고 있다.
반면 최상위 모델은 성능이 좋은 만큼 비용부담이 크다. 캐머런이 이날 제시한 AA 자료에 따르면 일부 최고 성능 모델은 하나의 업무를 수행하는 데 수 달러 이상의 비용이 들 수 있다. 기업 입장에서는 최고 성능만을 추구하기보다 필요한 수준의 성능과 비용 사이에서 균형을 찾을 수밖에 없다는 설명이다.
이에 따라 세계 최고 성능의 AI 모델을 보유하지 않더라도 시장에서 충분히 경쟁력 있는 모델을 개발할 수 있다는 것이 캐머런의 판단이다.
독자 AI 파운데이션 모델 개발사업에서도 LG AI연구원, 업스테이지, SK텔레콤 등 국내 기업들은 오픈웨이트 모델을 공개하며 국내 AI 생태계의 활용 기반을 넓혀왔다.
캐머런은 “기업이 모델을 직접 운영해야 하거나 비용 효율성, 특정 산업에 특화된 AI가 필요한 경우 오픈웨이트 모델이 더 나은 선택이 될 수 있다”고 말했다.
다만 그는 한국이 산업 특화와 비용 효율성에만 집중해 범용지능 연구를 포기해서는 안 된다고 강조했다.
언어모델이 특정 산업과 업무에서 높은 성능을 발휘하는 것 역시 기본적으로 범용적인 지능 능력을 토대로 하기 때문이다.
캐머런은 “언어모델의 본질상 범용지능을 활용하기 때문에 그 위에서 구체적인 기능에 집중할 수 있다”며 “한국이 현재 AGI 경쟁을 선도하지 않더라도 범용지능 개발을 계속해야 글로벌 AI 경쟁에서 뒤처지지 않을 수 있다”고 말했다.
특히 향후 경쟁력을 좌우할 기술 영역으로 과학, 에이전트 역량, 코딩 능력을 꼽았다.
과학 연구에서 AI가 가져올 잠재적 영향력이 큰 데다, 기업에서는 장시간 실제 업무를 수행할 수 있는 에이전트의 중요성이 커지고 있다는 설명이다. 코딩 역시 단순한 소프트웨어 개발 능력을 넘어 AI 에이전트가 실제 과제를 해결하고 도구를 사용하는 핵심 수단이 되고 있다.
AI 모델이 에이전트로 발전하면서 모델 평가 방식도 변하고 있다.
그동안 AI 벤치마크가 수학이나 코딩, 지식 문제에 얼마나 정확하게 답하는지를 측정했다면 앞으로는 사람이 수행하던 실제 업무를 AI가 얼마나 완수할 수 있는지가 중요한 평가 기준이 될 것이라는 전망이다.
AA가 최근 ‘AA-Briefcase’를 지능 지수(Intelligence Index)에 포함한 것도 이러한 변화 때문이다. 이메일 작성과 문서 업무, 프레젠테이션 제작, 스프레드시트 분석 등 실제 기업에서 지식근로자가 수행하는 업무를 AI 에이전트가 얼마나 성공적으로 끝낼 수 있는지 평가한다.
캐머런은 코딩 역량 역시 이러한 에이전트 평가에서 중요성이 커지고 있다고 설명했다. 에이전트가 복잡한 업무를 수행하는 과정에서 직접 코드를 생성하고 실행해 문제를 해결하는 경우가 늘어나고 있기 때문이다.
캐머런은 이날 발표에서 향후 AI 산업의 주요 변화로 에이전트형 지식노동(agentic knowledge work), 지속적 학습(continual learning), 비용과 속도 경쟁, 네이티브 멀티모달(native multimodal), 소버린 AI 등을 제시했다.
우선 AI 모델의 경쟁축이 단순한 질의응답 능력에서 실제 지식노동을 수행하는 에이전트 역량으로 이동할 것으로 전망했다.
두 번째는 지속적 학습이다. 현재 AI를 기업 업무에 활용하려면 사람이 조직의 상황과 자료, 업무 맥락을 직접 제공해야 한다. 새로운 직원에게 조직의 업무 방식과 필요한 정보를 하나씩 설명해야 하는 것과 비슷하다.
그러나 앞으로는 AI가 과거 업무 경험과 조직 내부 정보를 지속적으로 활용하며 새로운 업무에 적용하는 방향으로 발전할 가능성이 크다는 설명이다.
캐머런은 현재 등장한 초기 형태 가운데 하나로 마크다운(Markdown) 파일 등을 이용한 ‘메모리(memory)’를 들었다. AI 에이전트가 업무 과정에서 축적된 기록과 맥락을 저장한 뒤 이후 작업에서 다시 활용하는 방식이다.
그는 대담에서 에이전트의 ‘선제성(proactivity)’ 역시 향후 중요한 변화로 꼽았다.
현재 AI 에이전트는 사람이 명령해야 행동하는 반응형 시스템에 가깝다. 하지만 앞으로는 상황을 스스로 모니터링하고 필요한 행동을 판단한 뒤 사람에게 결과를 보고하는 방향으로 발전할 수 있다는 것이다.
예를 들어 제조라인에서 문제가 발생했을 때 사람이 지시할 때까지 기다리는 대신 AI가 문제를 감지해 조치를 취하고 이후 담당자에게 상황을 보고하는 식이다.
캐머런은 미래의 기업용 AI가 단순한 명령 수행 도구에서 벗어나 상황을 파악하고 질문하며 필요한 경우 스스로 행동하는 인간 동료에 가까운 업무 주체로 발전할 것으로 전망했다.
Q 이홍락 : 아티피셜 애널리시스(AA)는 AI 모델의 지능을 어떻게 정의하고, 서로 다른 모델을 공정하고 일관되게 평가하기 위해 어떤 원칙을 적용하고 있습니까.
A 캐머런 : AI 지능은 고정된 개념이 아니며 모델의 발전에 따라 계속 재정의해야 합니다. AA의 지능 지수는 에이전트 역량, 과학적 추론, 코딩, 지식 등 여러 능력을 종합해 평가합니다.
특히 코딩은 소프트웨어 개발에만 필요한 것이 아닙니다. 에이전트가 실제 작업을 수행하면서 코드를 생성해 과제를 해결하기 때문에 모든 AI 모델에서 중요한 역량이 되고 있습니다.
AI 능력이 계속 발전하는 만큼 벤치마크 역시 지속적으로 업데이트합니다. 다만 특정 기업이나 모델에 따라 평가 방법을 바꾸지는 않습니다. 모든 모델에 동일한 표준화된 방법론을 적용하고 이를 공개하는 것이 공정성과 일관성을 유지하는 핵심 원칙입니다.
Q 이홍락 : 벤치마크의 영향력이 커지면서 모델이 실제로 더 똑똑해진 것이 아니라 특정 평가에 익숙해져 높은 점수를 받는 ‘벤치마크 최적화’ 문제가 있습니다. 이를 어떻게 구분하고 방지합니까.
A 캐머런 : AA는 벤치마크 성능의 향상이 실제 현실에서의 능력 향상을 반영하도록 하는 것을 중요하게 생각합니다.
이를 위해 여러 개의 서로 다른 평가를 종합합니다. 특정 벤치마크 하나에 최적화한 결과가 전체 지능 인덱스를 좌우하지 못하도록 다양한 역량을 측정합니다.
비공개 평가(private evaluations)도 활용합니다. 평가 방법론은 공개하되 문제 자체를 비공개로 유지함으로써 모델 개발사가 평가 항목에 직접 최적화하는 것을 어렵게 합니다. 또 벤치마크를 지속적으로 교체하고 업데이트해 특정 평가만 겨냥해 모델을 개발하는 것을 어렵게 하고 변화하는 AI 능력을 반영하고 있습니다.
Q 이홍락 : 최근 한국 AI 모델의 발전을 어떻게 평가합니까. 미국·중국의 글로벌 프런티어 모델 및 선도적인 오픈웨이트 모델과 비교하면 어느 정도 격차가 있습니까.
A 캐머런 : 한국 AI 모델은 지난 1년 동안 매우 빠르게 발전했습니다. LG AI연구원을 비롯한 한국 기업들의 모델 개발과 한국 정부의 독자 AI 파운데이션 모델 프로젝트가 이러한 발전에 기여했다고 봅니다.
한국은 미국과 중국에 이어 중요한 AI 모델 개발 생태계를 형성하고 있지만, 지능만 놓고 보면 한국 모델은 여전히 미국과 중국의 선도 모델에 뒤처져 있습니다.
그러나 지능은 모델 경쟁력의 한 가지 차원일 뿐입니다. 모델별 작업 비용에는 100배 이상 차이가 날 수 있습니다. 한국 모델 가운데 상당수가 오픈웨이트이기 때문에 기업이 자체 하드웨어에서 운영할 수 있고 비용과 활용 방식에서도 유연성을 확보할 수 있습니다.
한국어를 비롯한 로컬 역량 역시 중요한 경쟁 요소입니다. 따라서 지능뿐 아니라 비용, 오픈웨이트 여부, 운영의 유연성, 로컬 역량 등을 함께 평가해야 합니다.
Q 이홍락 : 한국 기업들이 특정 산업이나 전문 영역에 집중하더라도 AGI와 범용지능 개발을 계속할 필요가 있다고 보십니까.
A 캐머런 : 한국 산업에 특히 중요한 사용 사례에 집중하더라도, AGI와 범용지능(generalist intelligence)을 놓쳐서는 안 됩니다.
언어모델의 특정 분야 능력 역시 범용지능을 기반으로 하기 때문입니다. 특정 벤치마크나 개별 산업에만 집중하기보다는 범용적인 지능 자체를 발전시키려는 목표를 유지하는 것이 중요합니다. 한국이 현재 세계적으로 AGI 경쟁을 선도하지 않더라도 범용지능 개발을 계속해야 글로벌 AI 경쟁에서 뒤처지지 않을 수 있습니다.
Q 이홍락 : AI가 단순한 질의응답에서 벗어나 복잡한 현실 업무를 수행하는 에이전트로 발전하고 있는데, 이에 맞춰 벤치마크는 어떻게 변화하고 있나요.
A 캐머런 : 벤치마크 역시 AI가 실제로 수행할 수 있는 업무의 변화에 맞춰 진화해야 합니다. AA는 최근 AA-Briefcase를 지능 인덱스에 포함했는데, AI가 실제 기업에서 수행하는 에이전트형 지식노동(agentic knowledge work)을 평가하기 위함입니다.
평가 대상은 이메일, 프레젠테이션, 스프레드시트 분석 등 실제 기업에서 지식근로자가 수행하는 업무로 확대되고 있습니다.
앞으로는 단순히 모델이 질문에 얼마나 정확하게 답하는지를 넘어 사람이 수행하는 업무를 AI가 실제로 얼마나 완수할 수 있는지가 중요한 평가 기준이 될 것입니다.
[박수빈 기자]
