"HBM은 AI시대 우라늄… 韓, 메모리반도체로 AI주도해야"[백종민의 쇼크웨이브]아시아경제 기사제공: 2025-05-02 13:24:36

김정호 교수는 HBM의 미래가 단순한 메모리 용량과 속도 경쟁을 넘어, 연산 기능까지 통합하는 시스템 반도체로 진화할 것이라고 예측한다.
그는 이것이 한국이 가진 메모리 분야의 압도적 강점을 시스템 반도체 경쟁력으로 확장하고 중국 등 후발 주자와의 격차를 벌릴 절호의 기회라고 주장했다.

김 교수는 "HBM4부터 시작되는, 메모리와 연산 기능의 통합은 한국 반도체 산업의 새로운 도약점이 될 것"이라며, "메모리 중심의 새로운 컴퓨팅 아키텍처를 개발하는 데 국가적 역량을 집중해야 한다"고 강조했다.
또한 그는 글로벌 인재 네트워크 구축과 AI에 특화된 교육 시스템을 통해 미래 인재를 키우는 것이 궁극적인 경쟁력이 될 것이라고 전망했다.
우리가 가진 메모리 기술의 우위를 바탕으로, 소프트웨어와 시스템 통합 역량을 키워 AI 시대의 '우라늄'인 HBM을 선점한 기술 경쟁에서 우위를 점해야 한다는 설명이다.

김 교수는 HBM 개발 초기부터 연구를 주도해왔다.
메모리 반도체 분야에서 세계적 권위자로 꼽힌다.
물리학 박사 출신으로 컴퓨터 구조와 메모리 시스템에 관한 독창적 연구로 주목받아 왔으며, 삼성전자와 SK하이닉스 등 국내 주요 반도체 기업들과 긴밀한 산학협력을 이어왔다.

다음은 김 교수와의 일문일답이다.

Q. 교수님께서는 오래전부터 HBM의 중요성을 강조해 오셨습니다.
특별한 계기가 있었나요?

A. 저는 남들이 많이 하는 주류 연구보다는 비주류, 근본적인 한계를 탐구하는 것을 선호하는 편입니다.
20여 년 전부터 무어의 법칙이 한계에 다다르고, 컴퓨터 연산의 병목이 CPU나 로직이 아닌 메모리 대역폭(데이터가 오가는 통로의 너비)이 될 것이라고 보고 HBM의 기초 연구를 시작했습니다.
2011년부터는 HBM 제품 개발 참여를 시작했습니다.
이후 대부분의 석박사 연구가 HBM 설계에 관한 것이었습니다.
지금도 전 세계 대학 중 HBM을 연구하는 유일한 연구실입니다.

SK하이닉스가 엔비디아와 HBM 개발을 시작할 때 연구 인력이 부족해 저희 연구실이 참여하게 됐고, 이것이 미래 20년을 좌우할 기술이라 확신하고 연구에 매진했습니다.
결국 AI 시대가 오면서 HBM이 주목받게 된 것이죠. AI든 고성능 컴퓨팅이든, 데이터를 빨리 처리하는 능력, 즉 메모리 성능이 핵심이라는 믿음이 있었습니다.
요즘은 HBM 4,5,6,7 구조연구를 진행하고 있습니다.

Q. 우리 정부는 시스템 반도체와 파운드리를 해야 한다며 기업들을 독려해왔습니다.
그런데 오히려 메모리 반도체가 GPU를 보좌하는 핵심 반도체로 부상했지요. 우리가 만든 HBM을 사용한 GPU를 확보하는 데도 어려움을 겪고 있습니다.
AI 시대에 메모리 반도체가 왜 그렇게 중요하며, 이것이 한국에게 어떤 기회가 될 수 있을까요?

A. AI 연산, 특히 대규모 언어 모델(LLM) 학습과 추론에는 엄청난 양의 데이터를 GPU 코어로 빠르게 공급하고 처리 결과를 받아오는 과정이 필수적입니다.
여기서 데이터 통로 역할을 하는 메모리의 대역폭과 용량이 전체 시스템의 성능을 좌우하는 병목 지점이 됩니다.
아무리 좋은 GPU가 있어도 메모리가 받쳐주지 못하면 제 성능을 낼 수 없습니다.

HBM은 바로 이 병목 현상을 해결하기 위해 등장한 기술입니다.
D램을 수직으로 쌓아 GPU와 매우 가깝게 배치함으로써 데이터 이동 거리와 시간을 획기적으로 줄인 것이죠. 저는 HBM을 'AI 시대의 우라늄'이라고 표현합니다.
AI라는 원자력 발전소를 돌리는 핵심 연료와 같다는 의미입니다.

최근 챗 GPT로 지브리 스튜디오 풍의 프로필 사진을 만드는 것이 유행이죠? 강력한 GPU와 함께 엄청난 메모리가 필요합니다.
앞으로 AI가 영상을 제작하는 시대가 열리게 되면 메모리 사용량은 더욱 늘어날 거라고 봅니다.

한국은 D램과 낸드플래시 모두 세계 최고 수준의 기술력과 생산 능력을 갖추고 있습니다.
이 압도적인 메모리 분야의 강점이야말로 AI 시대에 한국이 가진 가장 강력한 무기입니다.
이 강점을 어떻게 활용하느냐에 따라 한국 반도체 산업의 미래가 달라질 것입니다.

HBM의 미래: 시스템 반도체로의 진화

Q. HBM 기술은 앞으로 어떻게 발전할 것으로 보십니까? 단순히 D램을 더 높이 쌓는 것 이상의 변화가 있을까요?

A. HBM은 계속 진화할 겁니다.
현재 12단, 곧 16단 얘기가 나오는데, 저는 궁극적으로 1000층까지 쌓는 것도 가능하다고 봅니다.
D램만 쌓는 게 아니라, 오피스텔 옆 창고 건물처럼 D램 바로 옆에 낸드플래시를 쌓아 용량을 극대화하는 방식도 연구 중입니다.

더 중요한 변화는 HBM 자체가 시스템 반도체화되는 것입니다.
HBM4부터는 맨 아래층(베이스 다이)에 로직 다이, 즉 연산 기능을 넣기 시작합니다.
데이터를 GPU로 보내기 전에 HBM 내부에서 일부 처리를 하거나(Processing-in-Memory, PIM), 데이터 관리 기능을 수행하는 것이죠.

저는 HBM 7쯤 되면 HBM 아래 1~2층에 CPU와 GPU 코어를 직접 넣는 구조를 제안하고 있습니다.
이렇게 되면 HBM은 단순 메모리가 아니라 그 자체가 하나의 컴퓨팅 시스템이 되는 겁니다.
메모리와 시스템 반도체의 경계가 허물어지는 거죠. 이것이 바로 한국의 메모리 강점을 시스템 경쟁력으로 확장할 수 있는 절호의 기회입니다.

Q. HBM 시장에서 삼성전자가 SK하이닉스를 추격하는 모양새입니다.
삼성전자가 다시 주도권을 잡기 위해 어떤 노력이 필요할까요? 특히 중국의 추격도 매서운데요.

A. HBM4는 삼성에게 매우 중요합니다.
여기서 반드시 성공적인 제품을 내놓아야 합니다.
만약 밀리면 몇 년간 격차가 벌어질 수 있습니다.
특히 중국 업체들이 DDR4 등 범용 D램 시장에서 빠르게 점유율을 높이며 추격해오고 있고, 낸드플래시 역시 적층 기술을 빠르게 따라오고 있습니다.

이런 상황에서 HBM 같은 고부가가치, 최첨단 기술에서 압도적인 리더십을 확보하지 못하면 한국 메모리 산업 전체가 위협받을 수 있습니다.
삼성이 그동안 HBM을 기존 D램의 연장선상에서 저비용, 저전력 관점으로 접근했던 경향이 있다면, 이제는 바꿔야 합니다.
HBM은 AI 시스템의 핵심 부품이므로, 비용이 좀 들더라도 성능과 신뢰성을 극대화하는 방향으로 가야 합니다.

다행히 삼성은 결정적인 강점을 가지고 있습니다.
세계 최고 수준의 HBM 설계/제조 기술뿐 아니라, 최첨단 파운드리 역량까지 동시에 보유하고 있다는 점입니다.
HBM이 연산 기능을 통합하는 시스템 반도체로 진화할 때, 삼성은 HBM에 필요한 로직 다이나 연산 코어를 자체적으로 설계하고, 이를 자사의 메모리 기술과 통합하여, 자사의 파운드리에서 원스톱으로 생산할 수 있는 유일한 기업입니다.

삼성이 이 잠재력을 현실화하기 위해서는, 과거의 성공 방정식에서 벗어나 HBM 중심의 과감한 기술 투자와 조직 문화의 변화가 필요합니다.
메모리 리더십을 기반으로 시스템 통합 솔루션으로 나아가겠다는 명확한 비전을 세우고 HBM4 이후의 시장을 준비해야 합니다.

이제는 PC와 서버에 사용하던 인텔의 CPU를 보조하는 D램을 제조하던 기억에서 벗어나 GPU를 위한 HBM으로 돌아서야 합니다.

중국의 추격: 하드웨어 한계를 소프트웨어로 극복

Q. 중국 반도체 기업들이 우리를 급격히 추격 중입니다.
그들의 경쟁력과 위협은 어디서 나온다고 보십니까?

A. 5년 전쯤 선전에 있는 화웨이에 강연을 하러 갔는데, 도시 전체가 화웨이 타운 같았고 젊은 직원들의 에너지와 열정이 대단했습니다.
마치 80년대 수원 삼성전자 같았습니다.
그들은 질문 수준도 높고 눈빛이 살아있었어요. 야전침대를 두고 밤샘 근무하는 문화도 여전했고요. 이런 인재들의 노력과 정부의 전폭적인 지원이 중국 기업의 저력입니다.
중국이 한국 등에서 인력을 스카우트한 효과도 있을 겁니다.

최근 중국 AI 기술의 무서운 점은 미국의 규제로 인한 하드웨어의 한계를 소프트웨어와 창의적인 방식으로 극복한다는 점입니다.
예를 들어 딥시크(DeepSeek) 같은 모델은 GPU가 데이터를 기다리는 시간에 다른 연산을 하도록 소프트웨어를 최적화합니다.
'이가 없으면 잇몸으로 한다'는 식으로 하드웨어 약점을 메우는 거죠.

중국은 'GPU가 놀지 않도록' 소프트웨어를 최적화합니다.
메모리에 저장하는 것보다 다시 계산하는 게 빠르다면 그렇게 하죠. '이가 없으면 잇몸으로 한다'는 접근법입니다.

개인용 엔비디아의 GPU 메모리를 개조하는 사례에서 보듯, 하드웨어에 대한 이해도와 응용력도 상당히 높아졌습니다.
이런 소프트웨어 역량과 하드웨어 응용력이 결합한 점이 중국의 가장 큰 위협 요인이라고 생각합니다.

GPU의 한계와 메모리 중심 컴퓨팅

Q. AI 시대에 GPU의 중요성은 더욱 커졌는데, 한국은 유독 GPU 개발에 성공했다는 소식을 듣지 못했습니다.
이 문제를 어떻게 풀어야 할까요?

A. 삼성이 GPU 하드웨어를 설계하고 만들 기술력이 없는 것은 아닙니다.
충분히 가능하다고 봅니다.
진짜 문제는 하드웨어 자체가 아니라 소프트웨어 생태계입니다.
엔비디아 GPU가 시장을 장악한 것은 '쿠다(CUDA)'라는 강력한 소프트웨어 개발 플랫폼과 수많은 라이브러리, GPU를 지원하는 고속의 네트워크, 최적화된 데이터센터 운영 소프트웨어 스택이 있기 때문입니다.

GPU 칩만 덩그러니 만든다고 해서 AI 모델을 학습시키고 서비스할 수 있는 게 아닙니다.
수천, 수만 개의 GPU를 효율적으로 연결하고 관리하며, 개발자들이 쉽게 사용할 수 있는 소프트웨어 환경 전체가 필요한데, 이걸 구축하는 것이 훨씬 어렵습니다.

따라서 단순히 엔비디아를 따라 GPU를 만드는 전략보다는, 한국이 강점을 가진 메모리 중심의 새로운 컴퓨팅 아키텍처를 모색하는 것이 더 현실적이고 효과적인 대안이 될 수 있습니다.
메모리 대역폭을 극대화하는 새로운 시스템 구조를 개발하는 것입니다.

즉, GPU의 연산 부담 일부를 메모리 단에서 처리하거나, 데이터 이동 자체를 최소화하는 방식으로 접근하는 거죠. 이는 소프트웨어 생태계 의존도를 낮추면서 한국의 메모리 기술 우위를 활용할 수 있는 길입니다.

▲HBM(고대역폭 메모리): GPU와 같은 프로세서에 고속으로 데이터를 공급하기 위해 메모리 칩을 수직으로 쌓은 3D 패키징 기술