AI 열풍은 데이터센터를 ‘전기 먹는 하마’로 바꿔놓았다. 그래픽처리장치(GPU)가 24시간 연산하는 동안 전력 수요와 열이 폭증하기 때문이다. 이를 감당하지 못한 데이터센터는 완공하고도 가동하지 못하는 사례까지 나오는 실정이다. 미국 캘리포니아주 샌타클래라에서 스택인프라는 48MW(메가와트) 규모 시설을 완공했지만 지역 공기업인 실리콘밸리 파워가 송전 용량을 확대하지 못해 가동을 시작하지 못한 상태이고, 디지털리얼티는 2019년 48MW 규모 데이터센터 건립을 신청했으나 6년이 지난 현재까지 전력 인입이 완료되지 않았다.
결국 AI 인프라 경쟁의 승부처는 ‘얼마나 많은 GPU를 확보하느냐’에서 ‘확보한 GPU를 얼마나 잘 식히고, 적은 전력으로 돌리고, 똑똑하게 운영하느냐’로 옮겨가고 있다. 데이터센터의 새로운 경쟁력으로 냉각·반도체·운영이라는 3대 핵심 기술이 떠오른 이유다.
AI 전용 서버가 전력 수요를 급증시키고 있다. 시장조사기관 가트너에 따르면 2026년 전 세계 데이터센터 전력 소비량은 지난해 447TWh(테라와트시)보다 26% 늘어난 565TWh에 이를 전망이다. 2030년에는 1200TWh를 넘어서며 현재의 두 배 이상으로 불어난다는 관측도 나온다. 국내 전문가들도 전력 수급 대책이 시급하다고 입을 모았다. 한국데이터센터연합회는 국내 민간 데이터센터 시장 규모가 2024년 약 6조2200억원에서 2028년 약 10조1900억원으로 성장할 것으로 내다봤다. 산업통상자원부 집계로는 2029년까지 신규 건설을 요청한 데이터센터의 전력 용량만 약 4만9397MW에 달한다. 이를 충당하려면 1000MW급 원자력발전소 약 53기를 추가로 지어야 하는 규모다.
문제는 늘어난 수요를 인프라가 받아내지 못한다는 점이다. 기존 데이터센터가 랙당 10~25MW 수준의 전력을 소비했다면, 하이퍼스케일 AI 데이터센터는 단일 시설에서 100MW를 상회한다. 게다가 AI 학습은 수개월간 중단 없이 진행돼 24시간 고부하 상태가 이어진다.
국내 사정은 더 까다롭다. 전체 데이터센터의 75% 이상이 수도권에 몰려 있지만 서울의 전력 자립도는 10%대에 불과하다. 송전망 증설은 사회적 갈등에 막혀 있고, 분산에너지 활성화 특별법에 따른 전력계통영향평가가 전면 도입되면서 대규모 신설은 사실상 차단됐다. 실제로 산업부에 접수된 수도권 심사 19건 중 통과한 것은 단 4건에 그칠 만큼 문턱이 높다. 전력망 구축 속도가 데이터센터 증설을 따라가지 못하는 것이다.
GPU가 내뿜는 열을 식히기 위해 냉각용 전력이 필요하고 발열을 잡지 못하면 서버가 멈춘다. AI 데이터센터의 전력 소비가 일반 데이터센터의 3~5배에 달하는 이유다. 결국 전력·발열·운영을 동시에 잡아야 할 필요성이 높아졌다. 이를 위한 평가 지표는 ‘전성비(전력 대비 성능)’, ‘총소유비용(TCO)’, 그리고 ‘전력사용효율(PUE)’ 등이 있다. PUE는 데이터센터에 투입된 전체 전력 대비 IT 장비가 실제 사용한 전력의 비율로, 1에 가까울수록 냉각·운영에 낭비되는 전력이 적다는 뜻이다. 과거에는 초당 연산량과 처리량이 핵심 지표였지만, 이제는 토큰 하나를 생성할 때 전력을 얼마나 썼느냐가 기업의 수익성을 가르는 시대가 됐다.
냉각 기술은 공기로 식히는 공랭식에서, 냉각수를 칩에 직접 흘리는 수랭식(D2C·다이렉트 투 칩), 나아가 서버 전체를 비전도성 냉각유에 담그는 액침냉각(Immersion Cooling)으로 진화하고 있다. 수랭식의 핵심 장비인 냉각수분배장치(CDU) 시장에서 LG전자는 냉각 용량을 기존 650kW(킬로와트)에서 1.4MW로 두 배 이상 늘린 신제품을 내놓으며 경쟁력을 키우는 중이다. 액침냉각은 전력 효율을 30~40% 개선하고, 실증 기준 PUE를 1.08~1.33 수준까지 끌어내려 고성능 GPU 운영에 최적화된 차세대 기술로 꼽힌다. AI·HPC용 액침냉각 시장은 2030년까지 연평균 40%를 웃도는 고성장이 예상된다.
국내에서는 글로벌스탠다드테크놀로지(GST), 케이엔솔, 신성이엔지 등이 액침냉각 분야에서 앞서가고 있다. GST는 일상·이상(2-phase) 액침냉각 시스템을 모두 개발한 기업이다.
케이엔솔은 클린룸 기술을 바탕으로 글로벌 1위 기업 스페인 서브머(Submer)와 손잡고 시장에 진입했고, 신성이엔지는 1977년부터 쌓아온 냉동 공조 사업 노하우에 국내 스타트업 데이터빈의 액침냉각 기술을 결합해 빠르게 시장에 진입했다.
핵심 소재인 냉각유 분야에서는 SK엔무브가 LG전자, 미국 액침냉각 전문 GRC(Green Revolution Cooling)와 3자 동맹을 맺고 실증에 나섰다. 글로벌 화학기업 3M이 액침냉각용 유체 생산을 중단하면서, 자체 냉각유를 개발한 에쓰오일·GS칼텍스 등 국내 정유사에도 반사 기회가 열렸다. 에쓰오일은 기존 윤활유 사업에서 쌓은 기술을 냉각소재로 확장, 액침냉각 ‘S-OIL e-쿨링 솔루션’을 개발하고 ESS와 데이터센터, 전기차 배터리 등으로 적용 분야를 넓히고 있다.
정부도 ‘K-클라우드’ 기술 개발 프로젝트를 통해 2025년부터 7년간 약 1조원을 투입해 데이터센터 핵심 기술의 국산화율을 끌어올린다는 목표다. 다만 국내 데이터센터는 설비 운영자와 서비스 사업자가 분리된 구조가 일반적이어서 액침냉각 도입을 위한 의사결정이 복잡하고, 신규 냉각 인프라를 갖춘 수도권 데이터센터가 드물다는 점은 상용화 속도를 늦추는 요인으로 지적된다.
연산 효율을 높이기 위해선 반도체가 핵심이다. 시장은 엔비디아가 사실상 독점하고 있다. 엔비디아는 지난 3월 차세대 플랫폼 ‘베라 루빈(Vera Rubin)’을 공개했는데, 직전 세대 블랙웰 대비 토큰당 비용을 10분의 1로 낮추면서 와트당 추론 처리량은 최대 10배까지 끌어올렸다.
루빈 GPU에는 삼성전자의 6세대 고대역폭메모리(HBM4)가 탑재됐다. 엔비디아는 AI 반도체 시장의 90%를 차지하고 있고, 그 진짜 해자는 칩 성능이 아니라 ‘쿠다(CUDA)’ 소프트웨어 생태계라는 평가가 지배적이다. 국내 기업은 ‘추론 특화’와 ‘전성비’를 무기로 틈새시장을 공략하고 있다. 학습은 몇 번에 그치지만 추론은 서비스를 운영하는 매 순간 일어나기 때문에, AI 서비스가 대중화될수록 추론용 칩 수요는 기하급수적으로 늘어나기 때문이다. 학습은 엔비디아 GPU 없이 사실상 불가능하지만, 실시간 응답 속도가 중요한 추론(Inference)에서는 저전력 신경망처리장치(NPU)가 강점을 발휘한다.
NPU 분야 국내 대표 주자 리벨리온은 차세대 NPU ‘리벨 100’을 공개했다. 16비트 부동소수점(FP16) 연산에서 1페타플롭스 성능을 기록해 엔비디아 H200(0.99페타플롭스)에 필적하면서도, 오픈AI 모델 구동 기준 전력 소비량은 H200의 3분의 1에 불과하다. 삼성전자의 144GB HBM3E를 탑재하고 4나노 공정에서 생산된다. 리벨리온은 자사 NPU가 실사용 환경에서 5~7배 가격 효율을 보인다고 강조하며, 차세대 칩 ‘리벨쿼드(REBELQuad)’도 개발 중이다. 퓨리오사AI 역시 2세대 칩 ‘레니게이드(RNGD)’ 양산에 돌입했다.
상용화 성과도 구체화되고 있다. 리벨리온은 KT클라우드를 통해 서비스형 NPU(NPUaaS)를 구축했으며, 사우디아라비아 아람코와는 소버린 AI 인프라를 함께 짓고있다. 미·중 반도체 갈등으로 정부·금융·국방이 미국·중국 칩 외의 선택지를 찾는 ‘소버린 AI’ 수요도 K-반도체에 우호적인 환경을 조성한다. 다만 쿠다 생태계의 벽과 대규모 상용화 레퍼런스 부족은 여전히 넘어야 할 과제로 남아 있다.
효율적인 데이터센터 운영 기술 또한 수익성에 직접적인 영향을 끼친다. 단순 모니터링에 그치지 않고 AI가 직접 인프라를 제어하는 ‘자율 운영’으로 진화하는 추세다. 핵심은 다변수 최적화다. 온도라는 단일 지표만 맞추는 게 아니라 에너지 비용·PUE·안정성·성능을 동시에 최적화하고, 센서와 부하 패턴을 학습해 문제가 생기기 전에 냉각·전력 전략을 선제적으로 조정한다. 제어 결과를 다시 데이터로 수집해 모델이 스스로 개선되는 ‘폐쇄 루프(Closed-loop)’ 운영이 가능해진 것이다.
국내에서는 KT클라우드가 앞서 나가고 있다. KT클라우드는 AI가 장애를 사전에 예측하고 자동 분류해 대응하는 자동화 운영 플랫폼 ‘DIMS(Data center Integrated Management Service)’를 고도화했고, 데이터센터 전력 흐름을 AI가 실시간 분석해 부하 변화에 따라 최적 경로로 자동 전환하는 특허 기술 ‘패스파인더’를 자체 개발했다. 용산 데이터센터 실증에서 액침냉각으로 최대 60% 전력 절감 효과를 확인했으며, 2028년까지 완전한 자율 운영이 구현되는 에너지 자립형 데이터센터 구축을 목표로 하고 있다.
링란 왕 가트너 수석 애널리스트는 “데이터센터 전력 확보가 글로벌 AI 경쟁에서 규모 확장과 수익성을 가르는 새로운 격전지”라며 “인프라·운영 리더의 최우선 과제로 효율성 개선과 안정적 전력망 접근을 꼽고, 고효율 냉각 시스템과 엣지 컴퓨팅에 대한 투자도 병행해야 한다”고 강조했다.
[박수빈 기자]
