사진 확대

생성형 인공지능(AI) 챗봇을 지나 AI 에이전트가 빠르게 확산하면서, AI 추론과 연산을 담당하는 핵심 하드웨어인 그래픽처리장치(GPU)의 중요성이 갈수록 커지고 있다. 해당 영역은 모두가 알듯 미국의 엔비디아가 독점 수준의 압도적인 지배력을 유지하고 있는 시장이다. 특히 올해부터 에이전트의 폭증으로 AI 추론 수요가 급증하면서, 얼마나 AI 연산을 효율적이고 빠르게 처리할 수 있는 지가 관건으로 부상한 상태다.

한국의 신경망처리장치(NPU) 스타트업들은 여기에 도전장을 던지고 올해 상용화를 통한 시장 확장에 본격적으로 나섰다.

엔비디아의 GPU가 AI 모델 학습과 훈련부터 추론 작업 까지 모두 담당하는 반도체라면, 한국 스타트업들이 집중하는 영역은 AI 추론 작업에 특화한 반도체다. 즉 GPT와 같은 모델을 개발하는 단계가 아닌, 우리가 GPT에 질문을 던졌을 때 GPT가 답을 생성하는 과정을 처리할 수 있는 것이다.

추론 영역에서 엔비디아보다 비용효율적으로, 더 빠르게 작업을 처리하는 반도체로 시장을 파고들겠다는 목표다. 유니콘 기업(기업가치 1조원 이상 비상장사)로 꼽히는 리벨리온, 퓨리오사AI 등이 대표적이다.

그동안에도 리벨리온의 반도체가 SK텔레콤의 AI 비서 ‘에이닷’의 통화 요약 서비스 처리에 활용되는 등 한국의 AI 반도체 기업들은 상용화 사례를 쌓아왔다.

올해 이들은 일부 기업 단위로 반도체를 납품해 활용하던 단계를 넘어, 주요 클라우드 기업과 손잡고 클라우드 서비스처럼 NPU 인프라를 구독형으로 제공하는 서비스에 나선다. 시장에서 얼마만큼 수요를 창출할 수 있을지, 절대 강자 GPU 중심의 환경에서 틈새시장을 어떻게 파고들 수 있을지에 관심이 쏠리는 배경이다.

엔비디아의 GPU는 이름처럼 그래픽을 처리하는 장치에서 시작했다. 컴퓨터 게임에 필요한 그래픽 화면을 구현하기 위해서는 수많은 픽셀을 동시에 계산하는 연산이 필요한데, 이를 위해 수많은 연산 코어를 기반으로 작업을 병렬로 처리하도록 한 것이 GPU다. 이 병렬 연산 기능이 인공지능(AI) 연산과도 맞아떨어지면서 AI 시대에 GPU의 지위가 공고해진 것이다.

스타트업들이 대항마로 개발하고 있는 NPU는 신경망처리장치로, 머신러닝 구조인 신경망을 연산하는 데 특화해 처음부터 AI용으로 개발된 반도체다.

이러한 추론용 NPU를 개발하는 스타트업으로는 리벨리온과 퓨리오사AI가 대표적이다.

사진 확대

2020년 설립된 리벨리온은 데이터센터에서 AI 연산 작업을 처리할 수 있는 1세대 반도체인 ‘아톰’을 시작으로 ‘아톰 맥스’, ‘리벨’을 차례로 공개했다. 특히 리벨리온의 반도체를 탑재한 서버는 SK텔레콤의 고객용 AI 통화 요약 서비스에도 활용되고 있다.

올해 들어서 국내 클라우드 기업과 손잡고 NPU 서비스 상용화에 더욱 속도를 내고 있다. 기업이 반도체를 개별 구매해 자사 서버에 구축한 후 활용하는 방식이 아닌, 클라우드를 통해 인프라를 빌려 쓰듯이 NPU를 사용할 수 있도록 하는 방식이다.

이 같은 활용 방식은 서비스형 NPU(NPUaaS)로 불리는데, 필요로 하는 기업이 원하는 만큼 쓰도록 제공하는 구독형 방식이다. GPU의 경우 이 같은 GPUaaS 방식이 보편화되어 있는데 이제는 NPU도 이러한 서비스로 본격 상용화되는 것이다.

기업들이 리벨리온의 반도체를 직접 구매해 서버에 탑재하지 않더라도 빌려 쓸 수 있다 보니, 신규 고객의 진입 장벽이 낮아질 수 있는 이점이 있다.

리벨리온은 올해 4월 토종 클라우드 기업인 가비아와 협력해 리벨리온 NPU인 ‘아톰 맥스’ 기반의 NPUaaS 서비스를 출시했다. 가비아 인프라 기반의 구독으로 제공되는 아톰 맥스는 서비스는 경량 언어모델 기반의 사내 챗봇을 구동하거나, CCTV 영상 분석과 같은 AI를 구동할 수 있는 수준이다.

가비아는 해당 서비스를 발표하며 “AI 에이전트 등으로 실시간 추론 인프라에 대한 수요가 급증하고 있다”라며 이 같은 국산 반도체 기반 추론 인프라를 검토하는 기업이 늘고 있다고 설명하기도 했다. 이어 6월에는 KT 클라우드가 공공기관이 사용하는 전용 클라우드에 리벨리온 NPU를 적용한 NPU 서버 상품을 내놨다. 공공기관과 지방자치단체가 도입해 활용하는 AI 서비스를 리벨리온 NPU를 활용해 구동할 수 있도록 지원하는 것이다.

퓨리오사AI도 올해 본격적인 상용화 확대에 나선다. 1세대 AI 반도체 ‘워보이’에 이어 2세대인 ‘레니게이드’ 양산에 올해 돌입하며 생태계 확산 단계에 들어섰기 때문이다. 백준호 퓨리오사AI 대표는 지난 4월 ‘2026 레니게이드 서밋’을 열고 주요 고객사 확산 사례들을 공유하기도 했다.

그중에서도 눈에 띈 지점은 국내 대표 클라우드 기업 중 하나인 삼성SDS와의 협력이다. 양사는 7월부터 삼성SDS의 클라우드를 통해 퓨리오사AI 반도체를 구독형으로 사용할 수 있도록 제공하기 시작할 것이라고 이날 발표했다. 당시 행사에 참석한 이주평 삼성SDS는 “NPU를 1·2·4·8장 단위로 고객이 필요한 만큼 사용할 수 있는 NPUaaS를 준비 중”이라고 설명한 바 있다. 삼성SDS의 클라우드를 사용하던 고객이 해당 플랫폼 내에서 퓨리오사AI 반도체에 접근할 수 있게 되면서, 퓨리오사AI로서는 방대한 잠재 고객군과의 접점이 확대된 것이다.

한편 LG그룹의 IT계열사인 LG CNS도 퓨리오사AI 반도체를 활용해 공공 AX 시장에 최적화된 서비스를 개발하고 있으며, 메가존클라우드는 퓨리오사AI의 반도체를 향후 5년 내 3000억원 규모로 확보하는 방안을 검토하고 있다.

사진 확대

리벨리온과 퓨리오사AI가 내세우는 각 사 NPU의 강점은 추론이라는 영역에서 전력 효율과 비용 경쟁력이 GPU보다 뛰어나다는 점이다. 리벨리온에 따르면 최신 칩인 ‘리벨100’은 엔비디아의 GPU인 H200과 유사한 성능을 구현하면서도 전력 소비량은 약 30% 수준이다.

퓨리오사AI도 레니게이드 NPU가 뛰어난 전력 효율을 갖췄으며, 엔비디아 그래픽처리장치(GPU)인 RTX 프로 6000 대비 같은 전력으로 최대 7.4배 많은 사용자 요청을 처리할 수 있다고 설명한 바 있다. 생성형 AI 활용의 비약적인 증가가 계속 이뤄지면서 추론 요청이 많아지는 만큼, 증가하는 추론 수요를 더 비용 효율적으로 처리할 수 있다는 것이 양사가 강조하는 점이다.

다만 사업이 안정적인 궤도에 오르기까지는 본격적인 고객사 도입 확대와 생태계 강화가 필요한 상황이다. 리벨리온의 경우 지난해 320억원의 매출을 기록하며 전년 대비 약 3배의 성장을 거뒀지만, 1205억원의 영업손실을 기록했다. 퓨리오사AI 또한 57억원의 매출과 625억원의 영업손실을 거뒀다. 막대한 연구개발(R&D) 투자가 선행되는 가운데 사업적인 성과가 더 필요한 상황이다.

이들이 진입하고 있는 데이터센터용 AI 반도체 시장은 엔비디아가 점유율을 80% 이상 차지하고 있는 시장이다. 시장조사업체 비주얼캐피털리스트에 따르면 지난해 4분기 데이터센터향 AI 반도체 점유율은 엔비디아가 86%, AMD 10%, 인텔 4%로 추정된다.

엔비디아의 공고한 성벽을 뚫기 위해서는 하드웨어 성능을 넘어, 반도체 위에서 동작하는 소프트웨어의 최적화 등이 필수적이라는 분석이 나온다. 엔비디아는 GPU 사용을 위한 소프트웨어 플랫폼인 쿠다(CUDA)를 2006년 선보인 후 20년 넘게 생태계를 축적해왔다.

소프트웨어정책연구소는 보고서를 통해 “쿠다는 약 20년 간 라이브러리·개발도구·교육자료·개발자 커뮤니티를 지속적으로 축적하며 독보적 생태계를 축적했다”라며 “이러한 생태계 축적은 경쟁 칩이 유사한 성능을 달성하더라도 전환 비용을 높여 종속 구조를 고착화하는 요인으로 작용한다”라고 분석했다. 하드웨어를 활용하기 위한 소프트웨어 생태계에서 엔비디아가 이미 구조적인 우위를 점하고 있는 것이다. 또한 엔비디아는 다수의 GPU를 연결해 활용할 때에도 자사의 연결 기술인 ‘NVLink’를 갖추고 있다.

한편 퓨리오사AI도 자사 반도체 기반 컴파일러, 소프트웨어개발키트(SDK) 등을 고도화하는 등 토종 기업들도 소프트웨어 강화에 집중하고 있다.

사진 확대

정부도 국가 차원에서 AI 반도체 산업을 AI 시대의 핵심 전략 기술로 보고 적극적으로 지원하고 있다.

가장 대표적인 것이 국민성장펀드를 통한 자금 지원이다. 정부는 올해부터 민간과 협력해 AI·반도체·바이오 등 첨단전략산업에 총 150조원을 투자하는 정책 펀드인 국민성장펀드 가동을 시작한 바 있다. 특히 리벨리온은 국민성장펀드 직접투자 1호 기업으로 선정되며 약 6400억원을 투자받았다.

이어 퓨리오사AI도 국민성장펀드로부터 약 8000억원 내외의 지분투자를 받는 것으로 결정됐다. 두 기업에만 1조원 이상의 정책 자금이 투입된 것이다.

또한 과학기술정보통신부도 올해 AI 반도체 분야에 약 1400억원을 투입해 NPU 성능 고도화 등을 지원할 예정이다. 실제 활용 사례와 연계를통한 실증도 정부가 적극 추진하는 영역이다.

과학기술정보통신부에 따르면 이러한 국산 AI 반도체는 영국, 대만, 베트남, 중국 등에서 3000만 달러 규모 이상의 수출 계약을 체결했다.

예를 들어 에코피스와 리벨리온은 아랍에미리트(UAE)에너지 회사와 함께 실시간 수상 오염원 탐지 및 자율 정화 모니터링 서비스를 실증했으며, 이 서비스를 기반으로 베트남과 대만에서 약 250만 달러의 수출 성과를 거뒀다.

사진 확대

리벨리온, 퓨리오사AI처럼 데이터센터에서 구동되는 AI 반도체 외에도 로봇 등에 직접 탑재되어 기기상에서 바로 연산을 수행하는 온디바이스용 AI 반도체를 만드는 딥엑스 등도 현대차그룹, 바이두 등과 계약을 체결하면서 사업을 확장하고 있다.

배경훈 부총리 겸 과학기술정보통신부 장관은 6월 열린 ‘K-AI 반도체 성장 포럼’에서 “우리도 엔비디아에 버금가는 기술력을 확보하고 있다는 생각이 든다”라며 “본격적인 양산과 상용화를 넘어 실질적인 성과를 낼 수 있도록 업계의 지속적인 노력을 당부하며, 정부가 마중물 역할을 수행해 적극 뒷받침하겠다”라고 밝혔다.

[정호준 기자]