지난 10년 가까이 AI 붐을 이야기할 때 주인공은 늘 GPU였다. 얼마나 많이 사들이는지, 얼마나 빠르게 연결하는지, 전력을 얼마나 쓰는지가 관심의 중심이었다. 하지만 최근 AI 시스템을 직접 만드는 엔지니어들은 진짜 병목이 ‘생각하는’ 프로세서가 아니라, 그 프로세서에 데이터를 제때 공급하지 못하는 메모리에 있다고 말하기 시작했다.
반도체 업계에서는 이 문제를 ‘메모리 월(memory wall)’이라 부른다. AI 모델이 커지고 처리할 수 있는 문맥(context window)이 길어질수록, 프로세서 바로 옆에 두어야 하는 ‘작업 메모리’ — 예를 들어 챗봇이 방금 자신이 한 말을 기억하게 해주는 키-값 캐시 — 도 함께 커진다. 이 모든 데이터를 가장 빠른 메모리인 D램에 담아두려면 비용과 전력 소모가 크다. 반대로 더 저렴하고 밀도 높은 저장장치로 밀어내면, 필요할 때마다 그것을 다시 불러오는 데 시간이 걸리고, 이 왕복 지연이 AI 시스템 전체를 느리게 만드는 주범이 된다.
사진: Bermix Studio / Unsplash (무료 라이선스)
오늘날 대부분의 컴퓨터 내부 구조를 이해하기 쉽게 그려보면, 작은 책상과 복도 끝의 커다란 창고를 오가는 직원의 모습과 비슷하다. D램은 책상이다 — 손을 뻗으면 바로 닿을 만큼 빠르지만 공간이 작고, 전원이 꺼지는 순간 그 위에 있던 모든 것을 잊어버린다. SSD의 핵심 기술인 낸드플래시는 창고다 — 용량은 어마어마하고 내용물을 영구적으로 기억하지만, 무언가를 가지러 갈 때마다 눈에 띄는 지연이 생긴다. 오늘날의 AI 추론은 이 창고행 왕복을 어마어마한 규모로, 그것도 끊임없이 반복해야 한다.
서울시립대학교 연구진은 이 간극을 좁히기 위한 가장 직접적인 시도 중 하나를 최근 내놓았다. S. Kim, J.-H. Ahn, M. Koo, Y. Kim 연구진은 지난 7월 국제 학술지 IEEE Access에 발표한 논문에서, 두 메모리 기술을 회로기판 위에 나란히 배치하는 수준을 넘어 소자 단(device-level) 차원에서 긴밀하게 결합한 하이브리드 메모리 소자, 일명 ‘NAD(NAND-and-DRAM)’를 제안했다. 핵심은 구조적 혁신에 있다. NAD는 기존 시스템이 D램과 낸드플래시 사이에 데이터를 주고받을 때 거쳐야 했던 중간 입출력 버퍼와 데이터 버스를 아예 없애고, 두 메모리 사이의 직접적·병렬적 데이터 전송을 가능하게 한다. 앞서의 책상과 창고 비유로 말하자면, 더 빠른 복도를 새로 놓는 정도가 아니라 두 방 사이의 벽 자체를 허물어버리는 접근에 가깝다.
서울시립대의 이 접근법은 메모리 업계가 동시다발적으로 경쟁하고 있는 여러 시도 중 하나이며, 이들을 서로 비교해보면 같은 벽을 얼마나 다른 방식으로 공략하고 있는지가 드러난다. SK하이닉스는 ‘H3’라는 개념을 제안했는데, 기존 고대역폭메모리(HBM)와 ‘HBF(고대역폭 플래시)’라 부르는 3D 낸드 적층 구조를 HBM과 동일한 패키징 방식으로 만들어, GPU 옆 동일 인터포저 위에 함께 얹는 방식이다. AI 가속기가 매 요청마다 패키지 밖으로 나가지 않고도 대용량 플래시 기반 저장 계층에 접근할 수 있게 하자는 발상이지만, 낸드플래시 특유의 느린 접근 속도와 흔히 10만 회 안팎에 불과한 제한적인 재기록 내구성은 여전히 실질적인 제약으로 남아 있다.
한편 벨기에의 반도체 연구기관 imec은 좀 더 물리적으로 급진적인 접근을 택했다. 수십 년 전 카메라 이미지 센서에 쓰이던 전하 전달(charge-transfer) 원리를 빌려온 3D 메모리 구조 시제품으로, 누설 전류를 줄이고 더 조밀한 수직 적층을 가능케 하는 인듐갈륨아연산화물(IGZO) 소재를 활용한다. imec은 초기 실험에서 4MHz 이상의 전하 전달 속도를 시연했다고 밝혔지만, 열 관리와 적층 층수 확장, 실제 양산 가능성 등에 대해서는 아직 풀어야 할 숙제가 많은 실험실 단계의 시제품이라는 점을 스스로도 인정하고 있다.
이런 접근법들과 비교했을 때, 서울시립대 연구의 특징은 개념적으로 가장 ‘미니멀’하다는 점이다. 낸드와 D램을 새로운 패키지 구조로 쌓아올리는 대신, NAD는 기반 소재가 허락하는 한도 안에서 두 종류의 메모리가 전기적으로 거의 하나의 소자처럼 동작하도록 만들려 한다. 이런 직접 통합 방식이 인터포저 기반 적층이나 3D 적층 방식보다 실제로 양산하기에 더 유리할지는 논문 저자들도 완전히 답하지 못한 질문이다. IEEE Access에 게재된 이 논문은 어디까지나 연구 제안 단계에 머물러 있으며, 단기간 내 상용 생산으로 이어지는 구체적 로드맵을 제시하지는 않는다.
이 문제를 푸는 일의 중요성은 데이터센터 안에만 머물지 않는다. AI 가속기에 D램과 낸드플래시를 공급하는 것과 동일한 공급망이 일반 노트북, 스마트폰, 게임기에도 메모리를 공급한다. 업계에서는 이미 ‘AI 인프라 수요가 다른 모든 용도의 메모리 반도체 공급을 짓누르는 상황’을 가리켜 ‘램마겟돈(RAMageddon)’이라는 신조어까지 등장했다. 단순히 원재료를 더 많이 투입하는 대신, 칩 하나당 실효 대역폭과 용량을 함께 끌어올리는 메모리 구조는 이 압박을 공장을 더 짓는 방식이 아니라 기술 내부에서부터 완화할 수 있는 몇 안 되는 길 중 하나다.
서울, SK하이닉스, imec 중 어느 쪽의 하이브리드 접근법도 아직 상용 칩으로 출시되기까지는 거리가 멀다. 하지만 한 대학 연구실과 세계적인 메모리 제조사, 그리고 유럽의 독립 연구기관이 약속이나 한 듯 같은 결론에 도달했다는 사실 자체가 의미심장하다 — 빠른 메모리와 용량이 큰 메모리를 더 이상 서로 다른 방으로 취급해서는 안 된다는 것. 이는 업계가 이제 메모리 월을 GPU 성능만으로는 더 이상 앞지를 수 없는 문제로 받아들이기 시작했다는 신호이기도 하다.
참고 자료: IEEE Access, vol. 14, pp. 106983-106994, 2026 (DOI: 10.1109/ACCESS.2026.3710576); Semiconductor Engineering(2026.7.29); SK하이닉스 H3 및 imec 3D 메모리 시제품 관련 SemiWiki, TechRadar Pro, Startup Fortune 보도.
