Mamba 아키텍처는 시퀀스 모델링 분야에서 중요한 진전 중 하나로 평가받고 있습니다. 컨텍스트 길이를 효율적으로 확장할 수 있으며, 입력이 길어져도 연산 비용이 선형적으로만 증가하는 구조를 갖고 있습니다. 이러한 특성 덕분에, 대규모 데이터를 처리해야 하는 AI 시스템이 직면한 여러 한계를 해결할 수 있는 현실적인 선택지로 부상했습니다.

이번 글에서는 Mamba 아키텍처가 어떤 문제를 해결하는지, 그리고 왜 트랜스포머 모델을 대체할 수 있는 유력한 대안으로 주목받고 있는지를 자세히 살펴보겠습니다. 

시퀀스 모델링, 트랜스포머, 그리고 파운데이션 모델

파운데이션 모델과 트랜스포머를 이해하기 위해서는, 먼저 시퀀스 모델링(sequence modeling)이라는 연구 분야의 맥락을 짚고 넘어갈 필요가 있습니다. 시퀀스 모델링이란, 순서 자체에 의미가 내재된 데이터, 즉 시간적·구조적 질서를 가진 데이터를 다루는 분야를 의미합니다. 대표적인 예로는 텍스트 문장, 이미지, 음성·오디오 데이터, 시계열 데이터, 그리고 유전체 정보 등이 있습니다.

1990년대와 2000년대를 거치며 신경망 기술이 본격적으로 발전하고, 컴퓨팅 성능이 비약적으로 향상되면서 시퀀스 모델링 분야 역시 큰 전환점을 맞게 됩니다. 이 시기에 순환 신경망(RNN, Recurrent Neural Network)과 LSTM(Long Short-Term Memory) 모델이 등장하며 학계와 산업계의 표준적인 접근법으로 자리 잡았습니다. 이들 모델은 길이가 일정하지 않은 시퀀스를 처리할 수 있고, 문장이나 시계열 데이터에서 중요한 장기적 종속성(Long-term dependency)을 포착하는 데 강점을 가졌습니다.

다만 구조적인 한계도 분명했습니다. RNN 계열 모델은 입력 데이터를 순차적으로 처리해야 하기 때문에, 하나의 학습 데이터 안에서 연산을 동시에 수행하기가 어렵습니다. 이로 인해 모델이 커질수록 학습 시간이 급격히 늘어나고, 대규모 데이터셋을 효율적으로 활용하는 데 제약이 발생했습니다.

2017년, 트랜스포머(Transformer) 아키텍처가 소개되면서 시퀀스 데이터의 처리 방식에 큰 변화가 생겼습니다.  트랜스포머는 기존 시퀀스 모델에서 핵심이었던 순환 구조(Recurrence)나 합성곱 구조(Convolution)를 사용하지 않고, 어텐션 메커니즘(Attention Mechanism)을 중심에 둔 설계를 채택했습니다. 이런 설계 상의 변화로 모델 트레이닝 중의 병렬 처리 효율이 높아지고, 결국 트랜스포머가 대규모 데이터셋을 효율적이고 확장 가능하게 처리할 수 있게 되었습니다.

트랜스포머의 핵심은 셀프 어텐션(Self-Attention)입니다. 이는 입력 시퀀스의 특정 위치가, 시퀀스 내 다른 모든 위치와 얼마나 관련이 있는지를 계산하는 방식입니다. 이 연산은 시퀀스의 모든 위치에 대해 동시에 수행될 수 있으며, 여러 개의 어텐션 헤드(Attention Head)가 서로 다른 관점에서 관계를 계산합니다.  결과, 출력이 이전 단계의 결과에 의존해 순차적으로 계산되던 RNN과 달리, 트랜스포머는 본질적으로 병렬 처리가 가능한 구조를 갖게 됩니다. 이러한 특성 덕분에 트랜스포머는 학습 속도가 현저히 빨라졌고, 대규모 데이터셋과 모델 크기를 전제로 한 학습이 가능해졌습니다.

트랜스포머는 이미 현대적인 파운데이션 모델의 근간이 되었습니다. 다만 트랜스포머가 모든 문제의 해답은 아닙니다. 특히 입력 길이가 매우 길어지는 롱 컨텍스트(Long Context) 환경에서는 계산 비용과 메모리 사용량이 급격히 증가하는 한계가 존재합니다.

트랜스포머 이후의 연구들은 바로 이 지점을 문제로 삼았고, 그 흐름 속에서 Mamba와 같은 새로운 시퀀스 모델 아키텍처가 등장하게 됩니다.

트랜스포머, 무엇이 문제인가?

트랜스포머가 많은 장점을 가지고 있지만, 구조적으로 내재된 한계 역시 분명히 존재합니다.

가장 대표적인 한계는 셀프 어텐션(Self-Attention, 자기 주의 집중) 메커니즘으로 인해 컨텍스트 윈도우(Context Window, 문맥 창)의 크기를 무한정 키울 수 없다는 점입니다. 셀프 어텐션 기술 덕분에 문장 안의 각 단어(세그먼트)는 다른 단어들과의 연관성을 계산할 수 있게 되었지만, 그 계산 범위는 태생적으로 제한되어 있습니다. 즉, AI가 한 번에 훑어보고 이해할 수 있는 정보의 양인 '문맥의 범위'가 정해져 있다는 뜻입니다.

더 큰 문제는 이 문맥의 길이를 늘릴 때 발생하는 연산량의 폭증입니다. 트랜스포머의 계산 효율은 문맥의 길이에 따라 이차 확장(Quadratic Scaling)되는 구조를 가집니다. 만약 처리해야 할 문장의 길이(Context Length)를 x라고 한다면,이를 처리하는 데 필요한 컴퓨터 자원(리소스)은 x^2에 비례하여 늘어납니다. 즉, 문장의 길이가 2배가 되면 연산량은 4배가 되고, 길이가 10배가 되면 연산량은 무려 100배로 치솟게 됩니다. 이러한 기하급수적인 비용 증가가 트랜스포머가 아주 긴 글을 한 번에 읽지 못하게 만드는 거대한 장벽이 됩니다.

SSM(상태 공간 모델)과 Mamba의 등장

최근 시퀀스 모델링(Sequence Modeling, 데이터를 순서대로 처리하여 맥락을 파악하는 방식) 분야에서는 SSM(State-Space Sequence Model, 상태 공간 시퀀스 모델)이 트랜스포머를 대체할 수 있는 강력한 후보로 급부상하고 있습니다. 최근 화제가 된 Mamba(맘바) 역시 이 SSM을 변형하여 성능을 극대화한 모델입니다.

SSM은 앞서 살펴본 트랜스포머의 치명적인 약점, 즉 문맥이 길어질수록 계산량이 기하급수적으로 늘어나는 문제를 근본적으로 해결해 줍니다.

SSM (State-Space Model; 상태공간모델)과 Mamba가 간다!

최근 시퀀스 모델링 분야에서는 SSM(State-Space Sequence Model, 상태 공간 시퀀스 모델)이라고 부르는 모델이 트랜스포머를 대체할 수 있는 잠재적 모델로 부상하고 있습니다. Mamba 역시 이러한 SSM 계열 모델 중 하나로, 트랜스포머가 구조적으로 안고 있던 몇 가지 근본적인 한계를 해결하기 위한 시도에서 등장했습니다.

State Space Model (SSM; 상태 공간 모델)

기본적으로 SSM은 미분 방정식(Differential Equation)으로 설명되는 동적 시스템(Dynamic System)의 원리를 따릅니다. 여기서 동적 시스템이란, 우주왕복선의 궤도, 생태계의 종 간 경쟁, 인간의 신경계처럼 '시간의 흐름에 따라 상태가 변하는 모든 시스템'을 말합니다.

SSM은 오래전부터 다양한 과학 분야에서 사용되어 왔지만, 머신러닝 분야에서는 한동안 큰 주목을 받지 못했습니다. 초기에는 간단한 작업조차 처리하기 어려웠기 때문입니다. 하지만 최근 '특수 상태 행렬(Special State Matrices)'이라는 기술이 도입되면서, SSM은 복잡한 데이터를 처리하는 데 탁월한 성능을 발휘하기 시작했습니다.

구조화된 SSM은 2021년 스탠포드 대학교의 연구자들인 Albert Gu, Karan Goel, Christopher Ré에 의해 본격적으로 제안되었습니다. 이들은 기존 연구에서 발전시킨 아이디어를 바탕으로, 상태 공간 모델을 현대적인 시퀀스 학습 문제에 적용할 수 있는 형태로 확장했습니다. 이 접근법은 고전적인 상태 공간 원리(State Space Principle)를 기반으로 하면서, RNN(순환 신경망)과 CNN(합성곱 신경망)의 장점을 결합한 구조를 갖습니다. RNN은 이전 정보를 기억하는 능력이 탁월하고, CNN은 데이터를 병렬로 빠르게 처리할 수 있습니다.

다만, 이 모델 역시 텍스트와 같이 불연속적이고 밀도가 높은(discrete and dense) 시퀀스 데이터에서는 성능이 충분히 나오지 않는 경우가 많았습니다.

Mamba

초기 SSM 개념을 기반으로, 카네기 멜론 대학교와 프린스턴 대학교의 연구진은 트랜스포머와 기존 SSM이 각각 갖고 있던 한계를 동시에 극복하기 위한 새로운 아키텍처를 제안했습니다. 이것이 바로 Mamba, 즉 선택적 상태 공간 모델(Selective State Space Model)입니다.

Mamba는 트랜스포머의 핵심 구성 요소였던 어텐션(Attention)과 MLP(Multilayer Perceptron, 다층 퍼셉트론) 블록을 과감히 제거하고, 선택적 SSM을 신경망 프레임워크의 중심 연산 단위로 통합한 구조를 갖습니다.

왜 Mamba에 주목하는가?
 

왜 Mamba가 큰 관심을 받을까요? 더 긴 컨텍스트를, 더 효율적으로 다룰 수 있기 때문입니다.

생성형 AI에 관심이 있는 독자라면, 최근 주요 LLM 사업자들이 컨텍스트 길이(Context Length) 확장을 두고 경쟁하고 있다는 점을 이미 체감하고 있을 것입니다. 단순히 모델 크기를 키우는 것을 넘어, 얼마나 긴 입력을 안정적으로 처리할 수 있는지가 모델의 실사용 가치를 가르는 핵심 지표가 되고 있습니다. 중국의 'Moonshot AI' 같은 유니콘 기업들이 '무손실 긴 문맥 처리'를 핵심 전략으로 내세우는 이유도 여기에 있습니다.

Mamba는 이 경쟁에서 승리할 수 있는 가장 효율적인 아키텍처로 평가받습니다. Mamba는 구조를 단순화했음에도 불구하고, 연산 효율은 극대화하여 자신보다 덩치가 2배 큰 트랜스포머 모델보다 더 뛰어나거나 대등한 성능을 보여줍니다.

Mamba 아키텍처의 등장은, 트랜스포머 이후 시퀀스 모델링 분야에서 나타난 흥미로운 다음 단계의 발전이라고 볼 수 있습니다. 파운데이션 모델의 관점에서도, 더 높은 효율성과 확장성을 동시에 달성할 수 있는 가능성을 보여주는 접근 방식입니다. 그리고 이 Mamba 아키텍처의 발견 또는 개발, 그리고 이에 대한 높은 관심은 지속적으로 이전의 머신 러닝 연구 중 어떤 혁신적인 접근이 있었는지 돌아보고 여러 분야의 지식을 융합하는 것이 얼마나 중요한지를 보여주는 좋은 사례이기도 합니다.

Writer: Turing Post - Ksenia Se & Ben Eum

Edit: Metanet