최근 AI 모델 개발의 방향은 '빠르게 답변을 제공하는 것'으로부터 '문제를 단계별로 분해해서 더 신중하게 생각하는 것'으로 진화하고 있습니다.

CoT(Chain-of-Thoughts) 기법은 거대한 추론 모델이 '사고 과정의 이전 단계로 되돌아가서 재검토 및 개선을 수행'하도록 함으로써, 문제 해결 능력을 향상시키는 핵심 동력이 되고 있습니다.

하지만, 이러한 정교한 추론 능력을 발전은 필연적으로 '메모리'라는 도전 과제를 수반합니다. 복잡한 추론은 많은 텍스트, 즉 토큰 생성을 요구합니다. 메모리 점유율이 급격히 높아지고, 처리 지연(Latency)을 유발하며, 궁극적으로 운영 비용이 상승하죠. 특히 현재 LLM의 근간을 이루는 트랜스포머 구조의 모델에서 이러한 메모리 비효율성은 더욱 두드러지게 나타납니다.

복잡한 추론을 위한 거대 모델의 보편적 활용이 가속화됨에 따라, 메모리 비효율성을 극복하고 약점을 줄이는 것이 핵심 과제로 부상했습니다. 이 문제를 성공적으로 해결할 수 있다면, 모델이 추론 정확도를 유지하면서도 성능과 비용 측면에서 밸런스를 확보할 수 있게 됩니다.

현재 메모리 최적화와 관련해 주목할 만한 두 가지 혁신적 접근법이 제안되어 있습니다:

1) LightThinker

모델이 스스로의 '사고 과정'을 의미 있는 짧은 요약으로 압축하도록 학습시켜, 요약된 핵심 내용을 기반으로 메모리 부담 없이 추론 작업을 지속할 수 있도록 하는 기법.

2) Multi-head Latent Attention (MLA)

DeepSeek가 구현한, 어텐션 메커니즘 자체의 메모리 비효율성을 개선하여 성능을 향상시키는 접근법

오늘은 한 번 이 기법들에 대해서 구체적으로 알아보고, 또 이 기법들을 혼합한다면 어떤 좋은 점이 있을지 살펴보겠습니다.

LightThinker는 무엇인가?

앞서 언급한 것처럼, 추론 모델의 확산을 위해서는 메모리 비용을 적절히 유지하면서도 고품질 추론을 훨씬 더 빠르고 효율적으로 수행하는 최적화 기법이 필수적입니다. 이러한 요구에 부응하는 혁신적인 접근법 중 하나가 바로 중국 저장 대학과 앤트 그룹의 'Joint Laboratory of Knowledge Graph'에서 개발한 LightThinker입니다.

LightThinker는 단순히 텍스트나 메모리를 수동적으로 잘라내 버리는 것이 아니라, 모델이 복잡한 문제 해결 과정에서 생성하는 '자신의 사고(Thought)'를 능동적으로 요약(Summarize)하도록 학습시킵니다. 마치 사람이 긴 강연이나 보고서를 들을 때 모든 세부 내용을 받아 적는 대신, 핵심적인 요점만을 메모하여 기억 부담을 최소화하는 것과 유사한 원리입니다.

LightThinker의 작동 방식

LightThinker는 길고 상세한 추론 단계를 유지하는 대신, 추론의 연속성을 유지할 수 있도록 핵심 정보만을 포함하여 압축된 상태를 기반으로 다음 추론을 이어 나갑니다. 이를 위해 LightThinker는 두 가지 중요한 의사결정 작업을 수행합니다

1) 언제 (When) 압축할 것인가: 추론 단계를 압축할 '시점'을 결정합니다.
2) 어떻게 (How) 압축할 것인가: 압축할 내용을 '어떤 형태'로 요약하여 저장할 것인지 결정합니다.

1. 1. 언제 압축할 것인가?
    

모델의 '사고'를 요약하고 압축하는 시점을 결정하는 방식에는 두 가지 주요 접근법이 있습니다.

 1) 토큰 레벨 (Token-level) 압축

추론 과정에서 일정 개수의 단어(토큰)에 도달할 때마다 이전 내용을 압축합니다. 구현은 간단하나, 문맥의 자연스러운 흐름이 끊겨 '사고'를 부자연스럽게 잘라낼 위험이 있습니다.

2) 사고 레벨 (Thought-level) 압축

모델이 문장이나 단락 등 하나의 완결적 아이디어를 만든 후에 그 때까지의 사고를 압축하는 방법입니다. 아이디어의 경계에 맞춰 압축하므로 '의미 보존'에 훨씬 유리합니다. 다만, 사고의 완료 시점을 결정하는 추가적인 처리가 필요합니다.

연구자들은 '사고 레벨 압축' 기법이 의미를 더 잘 보존한다고 판단, LightThinker에 채택하고 있습니다.

2. 어떻게 압축할 것인가?

요약된 정보를 저장하는 방식에도 두 가지 주요 방법이 있으며, 효율성에 따라 선호도가 달라집니다.

1. 1) 텍스트 (Text) 압축
2. 모델이 '긴 생각'을 '짧은 요약 텍스트'로 대체하여 기록합니다. 요약을 위해 추가적인 인코딩 모델과 처리 과정이 필요하여 전체 속도가 저하되는 단점이 있습니다.
3.  

2) 은닉 상태 (Hidden State) 압축

텍스트를 재작성하는 대신, 핵심 정보를 특별한 토큰(캐시 토큰)에 저장합니다. 이런 토큰들이, AI가 나중에 검색할 수 있는 '기억 속의 메모'처럼 작동합니다. 추가적인 모델이 필요없기 때문에 처리 속도가 빠르고 효율적입니다.

LightThinker는 모델 자체의 추가적인 오버헤드를 최소화하기 위해 은닉 상태 압축 방식을 선호합니다.

자, 그럼 LightThinker 기법을 사용해서 단계별로 실제로 압축을 구현하는 작업 순서를 알아봅시다:

1. 데이터 재구성 (Data Restructuring)
요약을 수행하기 전에, LightThinker는 전체 텍스트를 논리적인 섹션으로 나눕니다. 이 섹션들 사이에 요약된 정보를 표시하기 위한 특별한 마커 토큰을 삽입하여 데이터 시퀀스를 재구성합니다.

2. 사고 기반 어텐션 마스크 학습 (Thought-based Attention Masking)

데이터가 위와 같이 구조화되면, 모델은 언제 정보를 압축하고 요약된 내용을 어떻게 사용할지 학습합니다. 사고 기반 어텐션 마스크는 각 추론 단계에서 모델이 '접근할 수 있는' 정보와 '접근할 수 없는' 정보를 정밀하게 제어합니다.

아래 그림이 세 단계의 추론 작업이 진행되는 동안 LightThinker의 어텐션 마스크 도식입니다:

3. 요약 내용만을 이용한 예측 훈련 (Prediction Training)

마지막 단계에서, 모델은 오직 요약된 내용(C)만을 사용하여 다음 토큰을 예측하도록 집중적으로 훈련됩니다. 이는 모델이 전체 텍스트를 '엿보는(Cheating)' 행위를 방지하고, 정보를 효율적으로 저장하고 단계별로 검색하는 능력을 극대화하도록 유도합니다.

정리하면, LightThinker는 긴 생각을 짧은 메모리 토큰으로 압축하고, ‘중요한’ 세부 사항만 가지고 추론을 이어가는 구조입니다. 이는 메모리의 압축(Efficiency)과 추론 과정(Accuracy)을 분리하도록 설계되어, 정확도를 높게 유지하면서도 추론 효율성을 혁신적으로 개선하는 효과를 제공합니다.

LightThinker의 장점과 한계

LightThinker는 AI 모델이 실제의 추론 작업에 잘 활용할 수 있는 실용적이고 효율적인 기법으로, 인상적인 성능을 보여줍니다.

▶ 메모리 사용량의 극적인 감소

LightThinker는 불필요한 정보 저장을 최소화하여 최대 토큰 사용량을 약 70% 절감합니다. 이는 LLM 운영 시 발생하는 막대한 메모리 오버헤드를 근본적으로 줄이는 효과를 가져옵니다.

▶ 추론 처리 속도의 향상

Qwen2.5-7B 모델에서는 추론 시간을 26% 단축했으며, Llama3.1-8B 모델에서는 41%까지 단축하는 성능을 보였습니다. 특히, 긴 응답(예: 32K 토큰)을 생성할 경우 추론 시간을 44%까지 대폭 줄여주며, 짧은 텍스트(1K~4K 토큰) 생성 시에도 1%~4%의 시간 절약 효과를 제공합니다.

▶ 토큰 생성량의 감소

모델이 생성하는 전체 토큰 수를 Qwen에서는 15%, Llama에서는 13%까지 줄여, 추론 과정의 경제성과 효율성을 동시에 높입니다.

정확도 손실의 최소화 및 합리성: 이러한 높은 효율성 개선에도 불구하고, LightThinker는 Qwen에서 1%, Llama에서 6% 수준의 최소한의 정확도 감소만을 보입니다.

▶ 설계 구조 기반의 정확도 향상

압축과 추론 단계의 분리라는 LightThinker의 고유한 설계 덕분에, 오히려 정확도가 기본 모델 대비 2% 향상되는 효과가 관찰되었습니다. 여기에 사고 기반 어텐션 마스크 전략을 결합하면, 전체 성능이 추가적으로 7% 더 향상되어 혁신적인 효율-정확도 균형을 달성합니다.

▶ 적응형 (Adaptive) 압축 전략

LightThinker는 작업의 복잡도에 따라 압축 강도를 조절하는 적응형 성능을 보입니다. 단순한 수학 문제와 같은 작업에는 더 공격적인(Aggressive) 압축을 적용합니다. GPQA(대학원 수준 증명 Q&A 벤치마크)와 같은 복잡한 작업에서는 핵심 정보를 보존하기 위해 더 신중한 압축을 수행하여, 벤치마크 종류에 관계없이 안정적인 성능을 유지합니다.

▶ 캐시 크기의 중요성

LightThinker가 메모리에 저장하는 요약 토큰 수(캐시 크기)는 성능에 직접적인 영향을 미칩니다. 캐시 크기가 작으면 압축 빈도가 증가합니다. 반면, 캐시 크기를 늘리면 더 많은 정보를 유지할 수 있어 정확도가 향상되고 추론 시간이 단축되는 효과가 나타나, 운영 환경에 맞는 최적의 캐시 크기 설정이 중요합니다.

▶ 수학 문제 처리의 어려움

LightThinker는 수학 문제와 같은 정밀한 숫자값을 요구하는 작업에서 상대적으로 어려움을 겪는 경향이 있습니다. 이는 숫자 값이 압축 과정에서 잘못 요약되거나 누락될 가능성이 있기 때문이며, 향후 연구를 통해 개선이 필요한 부분입니다.

지금까지 알아본 LightThinker의 좋은 점을 요약해 볼까요?

반면에, LightThinker는 아래와 같은 한계점도 가지고 있습니다:

MLA가 왜 필요했을까?

DeepSeek-R1 추론 모델의 혁신은 대규모 언어 모델(LLM) 아키텍처의 한계를 돌파한 두 가지 핵심 기술에 기반을 두고 있습니다. 그중 하나가 바로 Multi-Head Latent Attention (MLA)이라고 불리는 고도로 전문화된 어텐션 메커니즘입니다.

MLA의 등장 배경: 기존 MHA의 메모리 병목 현상 극복

DeepSeek은 스스로 ‘최고의 AI 모델’을 만드는 과정에서 왜 기존의 Multi-Head Attention(MHA)를 수정해야 한다고 생각했을까요?

트랜스포머 아키텍처의 핵심인 Multi-Head Attention(MHA) 메커니즘은 입력 텍스트 내에서 가장 관련성 높은 부분에 집중함으로써 문맥 이해 및 텍스트 생성 능력을 극대화했습니다. 그러나 이 MHA 구조는 추론(Inference) 과정에서 치명적인 비효율성을 야기합니다. 모델은 이전에 생성된 모든 토큰에 대한 Key-Value (KV) 값 쌍을 메모리에 누적하여 저장해야 합니다. 이 KV 캐시(Cache)가 기하급수적으로 증가하면서 막대한 메모리 점유율을 차지하고, 결과적으로 모델의 처리 속도를 저하시키는 주요 병목 현상을 초래합니다.

Multi-Head Latent Attention (MLA)은 이러한 문제를 해결하기 위해 DeepSeek가 제안한 수정된 어텐션 메커니즘입니다.

MLA는 KV 캐시를 훨씬 작은 형태로 압축하는 지능적인 저장 시스템과 같습니다. 이는 과거의 정보를 효율적으로 압축하면서도, 필요할 때 모델이 쉽게 접근하여 사용할 수 있도록 접근성을 유지하는 '스마트 스토리지' 역할을 수행합니다. 이 과정은 "Low-Rank Key-Value Joint Compression"이라는 핵심 기술을 활용하여 구현되며, 모델이 높은 정확도를 유지하면서도 더 빠르고 적은 메모리로 정보를 처리할 수 있도록 합니다.

MLA의 작동 방식
 

MLA는 다음 세 단계를 통해 KV 저장 공간을 획기적으로 줄이는 동시에 모델의 강력한 성능은 유지합니다.

1. Key-Value Pair의 압축
기존 MHA가 각 토큰마다 전체 크기의 KV 쌍을 그대로 저장하는 것과 달리, MLA는 저장 단계 전에 KV 쌍을 더 작은 저차원 표현(Low-Dimensional Representation)으로 압축합니다.

이는 수학적 변환(Mathematical Transformation)을 통해 KV 쌍이 "잠재 공간(Latent Space)"이라는 더 작은 벡터 공간으로 투영(Projection)되는 것을 의미합니다. 이 과정을 통해 실제 저장해야 할 데이터의 크기가 크게 줄어들어 메모리 부담이 경감됩니다.

2. 어텐션을 계산하기 위한 압축 해제

모델이 추론 과정에서 저장된 과거의 KV 정보를 활용해야 할 때, MLA는 압축된 데이터를 원래 크기로 다시 확장하여 재구성(Reconstruction)합니다.

압축된 KV 데이터는 필요한 시점에 다시 확장되므로, 모델은 마치 전체 크기의 KV 쌍을 가지고 있는 것처럼 작동할 수 있습니다. 이 메커니즘은 메모리 사용량을 줄이는 동시에 추론 속도를 향상시키면서도, 모델이 이전 토큰에서 중요한 정보를 손실 없이 계속 얻도록 보장합니다.

3. ‘분리된’ 회전 위치 임베딩 (Decoupled Rotary Position Embedding, RoPE)
트랜스포머 모델은 RoPE(회전 위치 임베딩)를 사용하여 쿼리(Q)와 키(K) 벡터에 단어의 '순서(위치)' 정보를 포함시킵니다. 그러나 KV 쌍을 압축할 때 이 위치 정보까지 압축된 형태로 얽히게 되면, 나중에 압축을 해제하고 재구성할 때 오류가 발생할 위험이 있습니다. MLA는 이 문제를 해결하기 위해 RoPE를 '분리된(Decoupled)' 방식으로 처리합니다. 즉, 위치 정보를 주요 KV 압축 과정에서 분리하여 별도로 처리합니다.

이 접근 방식은 다음과 같은 중요한 이점을 제공합니다.

MLA 기법의 장점과 한계

MLA는 다음과 같은 명확한 장점을 가집니다.

메모리 사용량의 획기적 절감

Key 및 Value 벡터를 저차원으로 압축함으로써 메모리 사용량을 크게 줄여줍니다.

추론 속도의 향상

저장 및 접근해야 할 데이터량이 감소하면서 검색 및 추론 과정이 빨라져 텍스트 생성 속도(Latency)가 향상됩니다.
 

고품질 출력 유지

Multi-Query Attention (MQA)나 Grouped-Query Attention (GQA)와 같은 다른 효율화 기법들과 달리, 출력물의 품질을 저하시키지 않고 기존 MHA에 준하는 성능을 유지합니다.

위치 인코딩의 안정적 처리

Decoupled RoPE (분리된 회전 위치 임베딩) 기법을 통해 단어 순서(Sequence Order)의 보존을 확실히 보장합니다.

다만 모든 혁신적인 기술이 그러하듯, MLA 역시 잠재적인 한계점을 내포하고 있으며, 이는 향후 개선을 위한 중요한 과제입니다.

DeepSeek 모델을 통한 MLA의 입증된 성과

이러한 한계에도 불구하고, MLA는 KV 캐시 크기를 잠재 벡터(Latent Vector)로 압축하여 효율적인 추론을 보장하는 DeepSeek의 핵심 기술로 자리매김했습니다.

DeepSeek-V2 모델의 경우, MLA 기법을 통해서 메모리 요구사항을 93.3% 줄이는 놀라운 성과가 있었습니다. 그리고, 저장하고 접근해야 할 데이터가 적어져서 각각의 추론 단계가 더 빨라졌구요. KV 메모리 사용량을 줄이게 되면 더 많은 시퀀스를 한 번에 처리할 수 있게 되어서, MLA를 사용하지 않는 모델과 비교해서 생성 처리량이 5.76배 향상됩니다. 물론 MLA만은 아니고 DeepSeekMoE 아키텍처, 이 두 가지 DeepSeek의 혁신 기술이 성능 수치의 개선에 기여했지만, 메모리 사용량의 압축 전략은 MLA에서 나온 거라고 봐야겠죠.

또, DeepSeek-R1 모델은 MLA와 같은 압축 기술을 사용했음에도 불구하고, 느리고 단계적인 추론 능력(Step-by-step Reasoning)이 저하되지 않음을 입증했습니다. 오히려 이 모델은 OpenAI의 고급 추론 모델에 필적하는 탁월한 성능을 보여주었습니다.

LightThinker와 MLA의 결합 시너지 가능성 탐색

DeepSeek-R1과 같은 최첨단 모델은 이미 뛰어난 추론 정확도를 입증했습니다. 여기서 제기되는 핵심 질문은 다음과 같습니다. 과연 우리는 이 높은 정확도를 유지하면서도, 속도와 효율성을 더욱 개선하고 메모리 사용량을 한계까지 절감할 수 있을까요?

LightThinker와 MLA, 두 가지 기법 모두 ‘메모리의 사용량을 줄이고’, ‘더 추론을 빠르게’ 해서 LLM의 효율성을 극적으로 높이는 걸 목표로 하는 기술입니다. 그런데 잘 살펴보면, 이 두 가지 기술은, 모델이 작동하는 과정에서 서로 다른 측면을 대상으로 하고 있어요.

LightThinker: 모델이 생성하는 '추론 과정(사고)' 자체를 압축하여 중복성을 제거하고 핵심 요약본을 저장합니다. (Higher-Level Strategy)
MLA: Key-Value (KV) 캐시를 저차원으로 압축하여 저장 공간을 줄이고 어텐션 메커니즘의 메모리 사용량을 최적화합니다. (Lower-Level Mechanism)

간단히 말하자면, MLA는 메모리를 절약하기 위해서 저장된 데이터를 압축 및 압축 해제하는 것이고, LightThinker는 AI 모델이 모든 세부 사항을 기억할 필요가 없이 긴 대화를 요약하는 겁니다. 이 두 기술을 결합한다면, 보다 효율적이고 강력한 추론 모델을 구축하는 데 결정적인 돌파구가 마련될 수 있습니다.

LightThinker는 추론 단계를 압축해서 중복성을 제거하고 핵심 정보만 요약본에 저장합니다. 

MLA는 모든 토큰을 같은 비중으로 취급하는 대신, 가장 관련성 높은 잠재적인 세부 사항을 우선시하면서 압축된 요약본에 서로 다른 가중치를 가지고 어텐션을 줄 수 있습니다.

개념적으로는, MLA가 LightThinker의 압축된 ‘생각’을 회상하는 적응형 검색 메커니즘 역할을 할 수 있게 하는 거죠. MLA는 또 LightThinker가 압축한 단계를 검색하고 확장하는 방식을 개선해서, 간결함 vs. 추론의 깊이 간 균형을 맞춰줄 수 있을 겁니다.

게다가, LightThinker와 MLA는 서로의 한계를 보완해 줄 수 있습니다.

이러한 조합은 MLA가 LightThinker의 '메모' 사이에서 어떻게 어텐션을 배분하고, 메모리 절약을 위해 필요할 때만 선택적으로 압축 및 해제하는 방법을 탐구함으로써, 간결함(Efficiency)과 추론의 깊이(Depth) 사이의 최적 균형을 맞출 수 있는 가능성을 제시합니다.

메모리 압축은 AI 발전, 특히 상당한 자원을 소모하는 거대한 추론 모델의 확장을 위한 필수 불가결한 최적화 기술입니다.

본 글에서 분석한 LightThinker와 MLA는 각자의 영역에서 메모리 사용량을 효과적으로 줄이고 추론 처리 속도를 높이는 혁신적인 성과를 입증했습니다. 그러나 AI 모델의 정확도와 활용도가 높아질수록, 요구되는 추론 단계와 처리 시간은 필연적으로 늘어날 것입니다. 미래의 모델은 DeepSeek-R1이나 o1과 같은 현존하는 최고 성능의 모델들을 뛰어넘어야 합니다.

이러한 관점에서, MLA와 LightThinker를 융합하는 '하이브리드 접근법'은 앞으로의 AI 연구 및 개발에서 메모리 효율성과 추론 속도를 동시에 혁신할 수 있는 가장 중요한 연구 방향 중 하나가 될 것입니다.

Write: Turing Post - Ksenia Se & Ben Eum

Edit: Metanet