SK하이닉스, '연산하는 메모리'로 AI 병목 푼다…"S램보다 용량 300배"

[아이뉴스24 권서아 기자] SK하이닉스가 메모리 안에서 직접 연산하는 ‘PIM(연산 가능 메모리)’을 앞세워 인공지능(AI) 데이터 처리 병목 해결에 나선다.

18일 SK하이닉스 뉴스룸에 따르면 임의철 SK하이닉스 솔루션AT 담당 부사장은 지난 16일(현지시간) 미국 캘리포니아주 산타클라라에서 열린 ‘AI 인프라 서밋 2026’에서 PIM 기술과 향후 AI 인프라 적용 방향을 공개했다.

PIM은 말 그대로 메모리에 연산 기능을 넣은 기술이다. 지금은 AI 연산에 필요한 데이터를 메모리에서 그래픽처리장치(GPU)로 보낸 뒤 계산 결과를 다시 메모리에 저장한다. AI 모델이 커질수록 오가는 데이터가 급증하면서 이 과정 자체가 병목으로 작용한다.

PIM을 활용하면 일부 계산을 메모리 안에서 바로 처리할 수 있다. 데이터를 GPU까지 계속 이동시키는 횟수를 줄여 처리 속도를 높이고 전력 소모도 낮출 수 있다. SK하이닉스는 이번 행사에서 PIM 반도체 ‘AiM’과 이를 적용한 가속기 카드 ‘AiMX’, 실제 서버 시스템을 함께 선보였다.

임 부사장은 특히 빠른 AI 추론에 주로 쓰이는 S램의 한계를 짚었다. S램은 속도는 빠르지만 같은 면적에 저장할 수 있는 데이터가 적고 가격도 높다.

그는 PIM이 같은 면적에서 S램보다 약 300배 많은 데이터를 저장하면서도 높은 내부 대역폭을 제공할 수 있다고 설명했다. AI 서비스가 복잡해질수록 연산 속도뿐 아니라 한 번에 얼마나 많은 데이터를 가까운 곳에 저장할 수 있느냐가 중요해진다는 것이다.

그동안 PIM의 약점으로 지적된 칩 면적과 가격 문제도 새로운 패키징 기술로 풀겠다는 구상이다.

기존에는 메모리 안에 연산회로까지 넣으면 메모리칩 자체가 커져 저장 용량이 줄고 제조비용이 높아질 수 있었다. SK하이닉스는 메모리 다이와 연산 다이를 따로 만든 뒤 두 칩을 수직으로 붙이는 ‘하이브리드 본딩’을 활용하면 이 같은 부담을 줄일 수 있다고 보고 있다.

쉽게 말해 저장하는 칩과 계산하는 칩을 한 평면에 억지로 넣는 대신 각각 만든 뒤 위아래로 붙이는 방식이다. 메모리 용량을 확보하면서도 연산 기능을 추가할 수 있다는 설명이다.

PIM 적용 범위도 넓힌다. SK하이닉스는 PIM을 여러 개 묶어 서버와 서버 랙 단위까지 확장하는 방안도 제시했다. AI 데이터센터 전체에서 데이터 이동량을 줄여 처리 효율을 높이겠다는 것이다.

이는 GPU와 고대역폭메모리(HBM) 조합만으로 모든 AI 서비스를 처리하던 기존 구조에서 더 나아가겠다는 전략이다.

임 부사장은 “초저지연 에이전트 서비스부터 비용 효율이 중요한 장문맥 서비스까지 AI 워크로드가 다양해지면서 기존 GPU-HBM 아키텍처만으로 새로운 요구를 충족하기 어려워지고 있다”고 말했다.

SK하이닉스는 PIM과 함께 고대역폭플래시(HBF), 메모리 관리 솔루션 ‘SALT-KV’도 차세대 AI 인프라 기술로 제시했다. HBF는 HBM과 SSD 사이의 속도·용량 격차를 메우고, SALT-KV는 AI가 사용하는 데이터를 HBM·D램·SSD에 효율적으로 나눠 저장하는 기술이다.