사진 확대

인공지능(AI) 반도체 시장의 메모리 경쟁이 고대역폭메모리(HBM)를 넘어 고대역폭플래시(HBF·High Bandwidth Flash)로 확산하고 있다. D램을 여러 개 쌓아 데이터 전송 속도를 높인 HBM과 달리 HBF는 낸드플래시를 수직으로 적층해 대용량과 높은 데이터 전송 속도를 동시에 노리는 차세대 AI 메모리다.

HBF가 부상한 배경에는 AI 시장의 무게중심이 학습에서 추론으로 빠르게 넓어지고 있다는 변화가 있다. AI 모델이 거대해지고 처리해야 할 데이터가 폭증하면서 빠르지만 비싸고 용량 확대에 부담이 있는 HBM만으로 모든 메모리 수요를 감당하기 어려워지고 있기 때문이다. SK하이닉스와 샌디스크가 HBF 표준화에 나선 가운데 삼성전자도 차세대 고성능 낸드 솔루션 ‘zNAND-O’를 공개하는 등 기술 연구개발에 나서고 있다. HBM에서 시작된 AI 메모리 경쟁의 전선이 D램에서 낸드로 넓어지는 모습이다.

AI 추론 시장이 커질수록 대용량과 비용 경쟁력을 갖춘 메모리의 중요성은 더욱 높아질 전망이다. HBF가 HBM을 보완하는 새로운 메모리 축으로 자리 잡을지, 이를 둘러싼 글로벌 메모리 업체들의 주도권 경쟁도 한층 치열해질 것으로 보인다.

사진 확대

AI 반도체 시장에서 HBF가 주목받는 가장 큰 이유는 인공지능의 쓰임새가 달라지고 있기 때문이다. 지금까지 AI 인프라 투자를 이끈 것은 거대언어모델(LLM)을 만드는 ‘학습’이었다. 앞으로는 만들어진 모델을 실제 서비스에서 사용하는 ‘추론’의 비중이 빠르게 커질 것으로 예상된다.

학습과 추론은 메모리에 요구하는 조건에도 차이가 있다. 학습에서는 방대한 데이터를 반복적으로 연산하기 때문에 데이터를 얼마나 빠르게 AI 가속기에 전달하느냐가 중요하다. 이 과정에서 높은 데이터 전송 속도를 갖춘 HBM은 AI 가속기의 핵심 메모리로 자리 잡았다.

AI가 이용자의 질문에 답하거나 긴 문서와 영상을 처리하려면 방대한 모델 매개변수를 불러와야 한다.

대화가 길어질수록 앞서 처리한 정보를 기억하기 위한 ‘KV캐시(Key-Value Cache)’도 쌓인다. 동시에 AI 서비스를 이용하는 사람이 늘어날수록 메모리에 머물러야 하는 데이터도 증가한다.

문제는 AI 추론에 필요한 메모리 용량이 빠르게 늘면서 이를 HBM만으로 감당하기에는 비용과 용량 부담이 커지고 있다는 점이다.

HBM은 D램을 여러 층으로 쌓고 실리콘관통전극(TSV)과 첨단 패키징 기술을 적용하는 고부가 제품이다. 높은 대역폭을 제공하는 대신 가격이 높고, 용량을 확대하기 위해 적층 단수를 높일수록 제조 난도와 수율·발열 부담도 커진다.

이에 AI 시스템의 메모리를 용도에 따라 나눠 쓰는 ‘메모리 계층화’가 대안으로 떠오르고 있다.

연산 과정에서 반복적으로 사용하는 ‘핫(Hot) 데이터’는 가장 빠른 HBM에 두고, 용량은 크지만 상대적으로 접근 빈도가 낮은 ‘웜(Warm) 데이터’는 HBF에 배치하는 방식이다. 장기간 저장하는 ‘콜드(Cold) 데이터’는 기존 솔리드스테이트드라이브(SSD)가 담당한다. 따라서 HBF는 HBM을 대체하기보다 HBM의 용량 부담을 덜어주는 보완재에 가깝다고 볼 수 있다. AI 메모리 경쟁의 기준도 단순히 ‘얼마나 빠른가’에서 속도와 용량, 비용을 어떻게 효율적으로 조합하느냐로 넓어지고 있는 셈이다.

사진 확대

HBF의 기본 원리는 HBM과 닮았다. 가장 큰 차이는 쌓는 메모리의 종류다. HBM이 여러 개의 D램 다이를 수직으로 쌓고 데이터가 오가는 통로를 넓혀 대역폭을 높인 제품이라면 HBF는 낸드플래시를 활용한다.

낸드는 D램보다 데이터 접근 속도가 느리지만 더 많은 데이터를 저장할 수 있고 비트당 비용도 낮다. HBF는 이런 낸드의 장점을 살리면서 여러 개의 낸드 다이를 수직으로 쌓고 데이터가 오가는 경로를 병렬화해 속도의 약점을 보완한다. 개별 낸드의 속도를 D램 수준으로 높이는 것이 아니라 여러 낸드에서 데이터를 동시에 읽어 전체 대역폭을 끌어올리는 방식이다.

구체적인 규격도 등장하기 시작했다.

SK하이닉스와 샌디스크가 오픈컴퓨트프로젝트(OCP)를 통해 공개한 첫 HBF 기술 규격은 낸드 다이를 8단 또는 16단으로 쌓는 구조를 기반으로 한다. 용량은 최대 512GB, 대역폭은 성능 등급에 따라 초당 약 0.4~3.0TB로 제시됐다. AI 가속기 가까이에 수백 GB의 대용량 메모리를 배치하면서 높은 데이터 전송 속도를 확보하는 것이 핵심이다.

사진 확대

HBF가 단순히 ‘빠른 SSD’인 것도 아니다. SSD는 낸드와 컨트롤러를 결합해 데이터를 저장하는 스토리지인 반면, HBF는 낸드를 기반으로 AI 가속기 가까이에서 대용량 데이터를 빠르게 공급하는 새로운 메모리 계층을 지향한다. HBM과 SSD 사이에 새로운 영역을 만들어 그동안 주로 저장장치에 쓰이던 낸드의 역할을 AI 연산을 뒷받침하는 메모리로 넓히는 것이다.

상용화를 위해 해결해야 할 과제도 아직 많이 남아 있다. 여러 낸드 다이를 동시에 구동해 높은 대역폭을 확보하려면 첨단 패키징과 고난도 입출력 기술이 뒷받침돼야 한다. 고단 낸드를 다시 수직으로 쌓으면서 발생하는 열을 제어하고 데이터 안정성을 확보하는 것도 숙제다. 이미 GPU와 여러 개의 HBM으로 대형화된 AI 반도체 패키지에 HBF까지 결합할 경우 패키지 면적과 제조 비용이 증가할 가능성도 있다. 결국 HBF의 기술적 승부처는 낸드가 가진 대용량, 비용 경쟁력을 유지하면서 데이터 공급 속도를 얼마나 끌어올릴 수 있느냐다.

사진 확대

HBF 표준화를 주도하고 있는 곳은 SK하이닉스와 샌디스크다. 두 회사는 2025년 8월 HBF 규격 표준화를 위한 업무협약(MOU)을 체결한 데 이어 올해 2월 오픈컴퓨트프로젝트(OCP) 산하에 HBF 전용 워크스트림을 출범시켰다. 8월에는 이 워크스트림을 통해 첫 HBF 기술 규격까지 공개했다. 업계가 함께 사용할 HBF 표준을 선점하는 전략이다.

표준화 작업에는 비단 메모리 업체뿐 아니라 구글과 AI 반도체 기업 텐스토렌트도 참여하고 있다. HBF가 실제 AI 시스템에 적용되려면 메모리 업체가 제품만 만들어서는 부족하다. AI 가속기를 설계하는 기업과 이를 데이터센터에서 사용하는 하이퍼스케일러가 HBF의 용도와 연결 방식, 시스템 구조를 함께 설계해야 하기 때문이다.

특히 자체 AI 가속기인 TPU를 개발해 사용하는 구글이 참여했다는 점은 주목할 만하다. 업계에서는 HBF가 TPU와 주문형 반도체(ASIC) 등 다양한 AI 가속기와 결합할 가능성을 보여주는 대목으로 보고 있다. AI 반도체가 고객별·용도별로 세분화될수록 메모리 역시 가속기의 구조와 용도에 맞춘 커스텀 제품으로 발전할 가능성이 있다. 삼성전자는 다른 방식으로 차세대 낸드 시장을 준비하는 것으로 알려졌다.

사진 확대

삼성전자는 최근 ‘zHBF’ 상표를 출원했지만 구체적인 제품 구조나 성능, 상용화 계획은 아직 공개하지 않았다.

상표 확보와 별개로 현재 공식적으로 공개한 차세대 고성능 낸드 제품은 ‘zNAND-O’다. 삼성전자는 지난 8월 미국에서 열린 ‘FMS 2026’에서 zNAND-O를 처음 공개했다. V낸드와 TSV 기술을 결합해 4단 또는 8단 반도체 칩을 3D 패키징하는 제품으로, ‘O’는 온디바이스(Ondevice) AI를 의미한다. 삼성전자는 이를 엣지 AI 환경에서 실시간 대규모 데이터 처리에 최적화한 고성능 낸드 솔루션으로 개발하고 있다. 데이터센터를 중심으로 HBF 표준 생태계를 구축하려는 SK하이닉스·샌디스크와 비교하면 현재 공개된 기술의 출발점에는 차이가 있다. HBF가 본격적인 시장을 형성하면 경쟁 구도 역시 HBM과 달라질 가능성이 크다.

사진 확대

HBM은 전 세계 시장에서 삼성전자, SK하이닉스,마이크론 등 D램 3사가 사실상 경쟁하고 있지만 HBF의 기반은 낸드다. 삼성전자와 SK하이닉스뿐 아니라 이미 표준화를 주도하고 있는 샌디스크, 글로벌 낸드 강자인 키옥시아와 마이크론 등도 잠재적인 경쟁자가 될 수 있다는 점이다.

다만 아직 HBF 시장의 승자를 논하기에는 이르다는 평가가 우세하다.

발열과 패키징, 전력, 시스템 설계 등 기술적 과제를 해결해야 하는 데다, 실제 시장 확대 여부도 AI 가속기 업체와 하이퍼스케일러의 채택에 달려 있기 때문이다.

HBF 경쟁은 메모리 업체의 기술력뿐 아니라 고객사와 함께 표준과 시스템 생태계를 얼마나 빠르게 구축하느냐에서 승부가 갈릴 전망이다.

업계 관계자는 “HBM이 AI 시대에 D램의 가치를 크게 끌어올렸다면 HBF는 낸드를 단순 저장장치에서 AI 연산을 지원하는 메모리로 확장하는 계기가 될 수 있다”며 “AI 추론 시장이 커질수록 속도뿐 아니라 용량과 비용 효율이 중요해지는 만큼 HBF를 둘러싼 메모리 업체들의 경쟁도 본격화할 것”이라고 말했다.

[박소라 기자]