사진 확대

2015년 6월 3일. 대만 최대 전자행사인 컴퓨텍스 2015. AMD는 이른 아침에 기자회견을 잡았다. 대만 이민자 출신의 리사 수가 침몰해 가던 이 반도체 회사의 CEO가 된 것은 한 해 전이었다. AMD 최초의 여성 CEO였다. 기자회견의 말미에 그는 2주 후 미국에서 열리는 게임 전시회 E3에서 세계 최초로 HBM이 들어간 GPU를 공개하겠다고 밝혔다. 바로 피지(Fidji) GPU. 하이닉스의 엔지니어들이 AMD와 치열한 논란 끝에 만든 표준이 적용된 GPU였다. 반도체 엔지니어들 사이에서만 회자되던 HBM이라는 이름이 일반 사람들에게 처음으로 알려진 순간이었다. SK하이닉스가 신제품을 개발한 지 꼭 1년 반이 지난 시점이었다. 수 CEO는 이날 기자들이 모두 궁금해하던 새로운 GPU를 손에 들고 내보이면서 감격스럽게 말했다.

“HBM과 라데온 GPU가 함께 만들어 갈 일들을 사랑합니다. 이 기술이 매우 자랑스러울 뿐만 아니라, 우리는 이런 중요한 변곡점에서 기업으로서 이 기술을 신뢰하고 투자하고자 합니다. 이를 통해 진정 차별화되고 혁신적인 경험을 제공할 것입니다.”

수 CEO의 말은 절반은 맞고 절반은 틀렸다. HBM은 혁신적인 기술로 세상을 바꿔놨다. 하지만 HBM이 빛을 발한 것은 한참 후의 일이었다. 그것도 그래픽카드가 아니라 인공지능(AI)에서였다. 그리고 수혜를 입은 기업도 HBM이 첫 적용된 GPU와 그래픽카드를 만든 AMD가 아니라 AMD의 최대 라이벌인 엔비디아가 된다. 수 CEO는 자신 앞에 그런 미래가 펼쳐질 줄은 상상조차 못했을 것이다.

HBM이 탑재된 최초의 그래픽카드 라데온 R9 퓨리X. AMD는 이 제품을 649달러의 프리미엄 GPU로 내놨지만 성능은 경쟁 제품에 대비해 크게 앞서지 않았다. 결국 소비자들은 기존의 익숙한 제품을 선택했고 그래픽 카드는 단종되어 버린다. HBM은 겨우 1만 개 정도를 생산하고 끝나버렸다.

AMD는 길을 잃었다. SK하이닉스도 마찬가지였다. 2013년 세계 최초로 HBM을 만들고 이를 바탕으로 고객의 제품까지 이어졌지만 그게 끝이었다. 그 사이에 AMD 이외의 다른 고객을 찾아내지 못했다. 그런 SK하이닉스에 1년 후 청천벽력 같은 소식이 전해진다.

2016년 1월 20일. 매일경제신문 17면에 ‘삼성, 7배 빠른 D램 양산’이라는 제목의 기사가 실린다. 삼성이 개발한 2세대 HBM인 HBM2였다. 이 기사에는 HBM2가 글로벌IT 기업들이 차세대 컴퓨터인 초고성능 HPC를 적기에 도입하는 데 크게 기여하게 됐다고 쓰여 있다. 여기 나온 글로벌 IT 기업이 바로 엔비디아와 구글. 엔비디아에 공급된 삼성의 HBM2를 구글이 AI 학습에 사용했기 때문이다.

삼성전자가 양산을 시작한 HBM2는 2016년 4월 엔비디아가 출시한 테슬라 P100 GPU에 탑재된다. HBM이 AI 학습을 위한 GPU에 사용된 첫 사례다. 이 P100 GPU를 기반으로 만든 엔비디아의 슈퍼컴퓨터 DGX는 2016년 8월 젠슨 황에 의해 당시 오픈AI 창업자였던 일론 머스크에게 직접 전달된다. 이 DGX가 오픈AI의 GPT를 학습하는 데 사용됐고, 2022년 챗GPT 탄생으로 이어진다.

HBM이 등장하기 전 엔비디아 GPU에는 게임용 그래그래픽카드에서 쓰이는 것과 같은 GDDR D램이 사용됐다. 2016년 이세돌 기사와 바둑에서 승리한 ‘알파고’도 HBM이 없는 GPU로 학습했다. 하지만 2016년 이후부터 AI 가속기의 표준은 HBM이 된다. AI 학습 성능을 높여줄 수 있는 최고의 메모리 반도체. 그것이 HBM이었다.

HBM을 최초로 개발한 SK하이닉스는 왜 이런 역사적 순간에 참여하지 못했을까? HBM2 개발 경쟁에서 실패했기 때문이다. SK하이닉스가 내놓은 HBM2는 처참한 제품이었다. 가장 먼저 HBM을 개발하고, 이제 HBM이 어느정도 만개할 수 있는 시장도 열렸는데 SK하이닉스는 삼성에게 그 시장을 빼앗겨버렸다. SK하이닉스의 2등 콤플렉스가 다시 터질지도 모르는 지점이었다.

SK하이닉스는 여기서 포기하지 않았다. 2016년 박성욱 사장은 엔비디아 본사를 방문한다. 이곳에서 젠슨 황 CEO로부터 왜 SK하이닉스는 HBM을 제대로 공급하지 못하냐는 지적을 받는다. ‘왜 삼성처럼 못하느냐’는 것이었다. 박 사장은 한국으로 돌아와 당시 이석희 D램 사업부장에게 HBM을 더 키우라고 지시한다. 그해 11월에는 100명 규모의 HBM2 TF를 꾸린다. 앞서 실패한 HBM2를 처음부터 다시 설계하는 고통스러운 역할이었다. 이 TF의 노력 끝에 결국 HBM2는 엔비디아 납품에 성공하기 이른다. 하지만 시간은 제법 흘렀다. 2년 뒤인 2018년이었다.

결국 승부는 다음 세대에서 날 수밖에 없었다. SK하이닉스는 삼성에 빼앗긴 시장을 되찾기 위해 2018년부터 HBM2E 개발에 전력을 가하기 시작했다. 이 과정에서 역전의 발판을 마련하게 되는데 그때 사용된 기술이 MR-MUF라는 거였다.

HBM은 패키징 기술이 중요하다. 전문용어로 TC-NCF라는 기술이 보편적이다. D램 사이에 얇은 필름을 깔고 여기에 고온 고압을 가해서 붙이는 방식이다. 반면 SK하이닉스가 HBM2E부터 도입한 MR-MUF는 D램을 쌓은 후 칩과 칩 사이에 에폭시수지 같은 보호재를 넣어 굳히는 방식이다. 공정 효율성을 높일 뿐만 아니라 열 배출 성능이 TC-NCF 방식보다 뛰어났다.

SK하이닉스는 HBM2E에서 도전적으로 MR-MUF를 도입했다. 수율을 높였을 뿐만 아니라 발열까지 줄일 수 있었다. 덕분에 2020년 엔비디아 A100에 본격적으로 탑재된다. 삼성전자보다 공급은 늦었지만 성능은 앞선다는 평가를 받았다.

SK하이닉스가 신발끈을 다시 동여매고 고통스러운 도전을 다시 시작할 수 있었던 것은 SK하이닉스 조직에 내재된 ‘1등 탈환에 대한 강한 의지’ 때문이었다. 박 사장은 2015년 구성원들의 행동강령을 만든다. 그는 “답이 없는 게 아니라 치열함이 없다”라고 판단하고, 하이닉스인(人)에게 반도체 전쟁에서 승리하기 위한 ‘독한 행동’ 수칙을 하달한다. 1. 목표는 반드시 경쟁자를 이기는 수준이어야 한다. 2. 정해진 목표는 죽기 살기로 달성한다. 그렇게 그들은 실패를 딛고 일어선 것이다.

이 언저리에 삼성전자에서는 미스터리한 일이 벌어진다. HBM 개발 조직을 축소한 것이다. 2019년은 삼성전자 반도체 사업부로선 어려운 시기였다. 2018년 초 호황을 겪던 메모리 반도체 사업은 하락 사이클에 접어들었고, 수익성 위주의 선택이 필요했다. 시장도 작고, 생산 비용도 많이 드는 HBM 조직부터 축소됐다. 당시에는 합리적인 선택이었을지 몰라도 결과적으로는 큰 오판이었다. 시장도 없고 돈도 못 버는 사업이었지만 미래를 위해서는 적자를 감수하고 붙잡아야 하는 것 아니었느냐는 후회를 하지만 버스는 지나갔다.

삼성전자가 HBM팀을 축소하자 SK하이닉스 내부에서도 회의론이 나왔다. 1등인 삼성전자가 포기할 정도면 가망 없지 않냐는 것이었다. 김진국 전 SK하이닉스 CTO는 “사업 환경이 나쁜 건 사실이었지만 HBM2E부터 내재된 역량이 동력을 잃지 않고 유지시키는 것이 중요했다”라면서 “이에 대해선 CEO와 구성원들 간의 신뢰가 있었다”라고 말했다. 미래 기술로 HBM이 반드시 필요하다는 컨센서스가 있었던 것.

2021년, 드디어 SK하이닉스는 삼성전자보다 먼저 HBM3를 개발해 시장에 내놓는다. 역전 드라마가 만들어졌다. 그러나 아직. 반전에 성공하긴 했지만 빛을 본 건 아니었다. 반도체 겨울이 찾아온 것. 이게 HBM의 세 번째 위기였다. 코로나19로 일시적으로 증가했던 반도체 수요가 2022년부터 급격히 꺾이기 시작했다. SK하이닉스와 삼성전자 같은 메모리 기업들에게는 엄청난 충격으로 다가왔다. 2023년 하이닉스는 7조원 적자, 삼성전자 반도체 사업부는 15조원 적자를 냈다.

HBM은 도움은 되지 못했다. 2022년 여름에는 여러 고객들로부터 약속한 만큼 주문할 수 없을 것 같다는 오더컷이 들어왔다. <슈퍼 모멘텀>에 따르면 SK하이닉스는 HBM 수요가 줄어들어 P&T4 팹 장비를 꺼두는 것까지 고민했다. 기대만큼 AI 시장이 커지지 않으면서 이를 뒷받침하는 HBM도 수요가 급증하지 않은 것이다.

그러다가 기적 같은 일이 찾아왔다. 챗GPT의 등장이다. 챗GPT가 지금까지와는 전혀 다른 AI의 잠재력을 보여주자 2023년부터 엔비디아 GPU에 대한 주문이 폭발적으로 늘어났다. 덩달아 HBM에 대한 수요도 폭발하기 시작했다. 2023년 하반기부터는 HBM 주문이 밀물처럼 밀려든다.

HBM이 챗GPT의 등장과 함께 폭발한 이유는 잘 알려져 있다. 우리가 요즘 사용되는 거대언어모델(LLM) 때문. 적게는 수억 개에서 많게는 수조 개의 파라미터로 구성된 AI 모델은 많은 데이터를 빠르게 처리해야 한다. 그런데 이를 처리하는 GPU의 성능이 빨라지는 속도에 비해 메모리의 성능은 그 속도가 따라가지 못하는 이른바 ‘메모리월(Memory Wall)’ 현상이 발생한다. 계산하는 사람의 속도에 비해 제공되는 종이의 숫자가 빨라지지 못하면서 계산하는 사람의 속도까지 느려지는 셈이다. 이렇게 고성능의 메모리가 요구되는 시대에 SK하이닉스의 HBM이 있었던 것이다. ‘학습(Training)’에서 ‘추론(Inference)’으로 가면서 메모리의 가치는 더욱더 높아지고 있다. AI가 더 많은 것을 기억할수록 서비스의 품질이 좋아지기 때문이다. SK하이닉스는 수요가 엄청나게 폭발하는 이 시기에 모든 것이 준비되어 있었다. 먼저 HBM3를 엔비디아에 가장 많이 공급하고 있었고, 후속 세대인 HBM3E도 개발을 마쳐가고 있었다. 2024년 3월 가장 빠르게 공급을 확정 짓는다.

SK하이닉스는 기술뿐만 아니라 ‘물량’도 준비되어 있었다. HBM 주문이 폭발해도 이를 생산할 시설이 없다면 리드타임만 길어질 뿐이었다. 앞서 중단을 검토했던 P&T4 팹이 풀가동해도 수요를 맞출 수 없을 지경이 되자 SK하이닉스는 과감한 결단을 내린다. 낸드 플래시 확장을 위해 완공한 청주 M15 팹의 2층이 비어 있었는데, 이를 HBM용 후공정 팹으로 개조한 것이다.

김영식 SK하이닉스 양산총괄은 <슈퍼 모멘텀>에서 “전공정 팹을 짓는 비용은 후공정 팹을 짓는 비용의 2배나 된다. 전공정 팹에서 패키징을 한다는 것은 매우 이례적이었지만 다른 곳을 물색할 시간이 없었다”라고 말했다. 오더컷에도 불구하고 P&T 팹 가동을 중단시키지 않은 것, 그리고 M15를 HBM용으로 신속하게 전환한 데는 현 곽노정 CEO의 결정이 주효했다.

SK하이닉스는 엔비디아의 초고속 성장에 따른 수혜를 고스란히 받아낸다. 삼성전자가 2조원의 적자를 기록했던 2023년 4분기에 하이닉스는 흑자 전환했고, HBM 시장에서 독주체제를 굳히게 됐다. 2025년 하반기부터 시작된 메모리 반도체 가격 폭등으로 인해, 2024년 23조원, 2025년 47조원이라는 상상 초월의 영업이익을 기록한다. SK하이닉스는 오랜 숙원이었던 ‘1등’이 됐다. HBM이 없었다면 불가능한 일이었을 것이다.

(다음 회차에서 이어집니다.)

[손현덕 주필]