RAG는 외부 지식을 활용해 LLM의 답변 정확도와 신뢰도를 높이는 대표적인 접근법으로, 현재 가장 널리 활용되는 방법 중 하나입니다. 적용 사례가 빠르게 확산되는 동시에, 다양한 방식으로 고도화되며 발전하고 있습니다.

다만 금융처럼 전문 용어가 많고 문서 구조가 복잡하며, 데이터 간 관계까지 중요한 도메인에서는 ‘전통적인 RAG’만으로 안정적인 성능을 확보하기가 쉽지 않습니다. 이때 대안으로 논의되는 접근이 Hybrid RAG입니다.

Hybrid RAG은 외부 정보를 검색·결합하는 과정에서 유사성 기반 검색(Vector RAG)과 관계 기반 검색(Graph RAG)을 함께 활용합니다. 즉, 비슷한 내용을 가진 문서를 찾는 능력과, 데이터 간 구조적 연결을 따라가며 의미를 확장하는 능력을 결합해 더 정확하고 맥락이 풍부한 답변을 얻는 방식입니다.

종합적인 테스트를 진행한 결과, Hybrid RAG은 데이터의 형식과 관계가 동시에 중요한 금융과 같은 분야에서 특히 유용한 것으로 보고됩니다. 이번 글에서는 Hybrid RAG이 왜 주목받는지, 어떻게 작동하는지 살펴보겠습니다.

금융 도메인에서 LLM과 기존 RAG 시스템의 한계

금융 산업에서는 시장 전망, 투자 의사결정, 리스크 분석 등 다양한 업무에서 뉴스 기사, 기업 실적 보고서, 공시 자료, 거래소 데이터 등 여러 출처의 정보를 동시에 활용합니다. 문제는 이들 데이터가 대부분 정형화되어 있지 않거나 구조가 복잡하다는 점입니다. 다양한 형식의 문서와 서로 다른 데이터 구조가 혼재되어 있기 때문에, 전통적인 분석 방식만으로는 이를 충분히 해석하기 어려운 경우가 많습니다.

기본적으로 LLM은 트렌드 예측이나 보고서 작성 등을 위해 대량의 데이터를 처리하는 데 강점을 가진 기술입니다. 다만 도메인의 전문 용어가 많고 데이터의 구조가 복잡한 경우에는, LLM 단독으로는 처리가 쉽지 않습니다.

우리가 일반적으로 RAG이라고 부르는 VectorRAG이 이러한 ‘LLM의 한계’를 해결하는 방법 중 하나입니다. 이 기술의 핵심은 ‘외부 DB에서 유사한 텍스트 청크(Chunk)를 검색, 답변을 생성하는데 사용할 컨텍스트를 제공’하는 것에 있습니다. 다만 VectorRAG는 데이터를 개별 텍스트 단위로 인식하기 때문에, 그 안에 존재하는 구조적 관계나 개체 간 연결까지 이해하는 데에는 한계가 있습니다.

*청크:  RAG나 LLM 시스템에서 문서를 일정한 크기의 작은 단위로 나눈 텍스트 조각. LLM은 한 번에 처리할 수 있는 텍스트 길이에 제한이 있기 때문에, 긴 문서 전체를 그대로 검색하거나 입력하는 대신 문서를 여러 개의 작은 조각으로 분할해서 처리합니다. 이때 나누어진 각각의 조각을 청크라고 부릅니다.

이러한 한계를 보완하기 위해 등장한 접근이 Graph RAG입니다. Graph RAG은 데이터를 개체(Entity)와 관계로 표현한 지식 그래프(Knowledge Graph)를 활용해 정보를 검색하는 방식으로, 문서 간 연결이나 개념 간 관계를 보다 체계적으로 반영할 수 있습니다. 이를 통해 대규모 데이터셋에서도 맥락이 더 풍부한 답변을 생성할 수 있습니다. 다만 이 방식 역시 모든 상황에서 완벽하게 작동하는 것은 아닙니다. 특히 질문에서 특정 개체나 관계가 명시적으로 드러나지 않는 경우에는 관련 정보를 효과적으로 찾지 못하는 한계가 존재합니다.

HybridRAG의 등장

기존 기술이 한계에 부딪힐 때 흔히 시도되는 전략 중 하나는 서로 다른 접근 방식의 장점을 결합하는 것입니다. Hybrid RAG 역시 이러한 흐름에서 등장했습니다. NVIDIA와 BlackRock 연구자들은 Vector RAG과 Graph RAG을 결합해, 텍스트 데이터베이스와 지식 그래프 양쪽에서 동시에 정보를 검색하고 이를 통합해 활용하는 방법을 제안했습니다.

이 접근 방식은 HybridRAG: Integrating Knowledge Graphs and Vector Retrieval Augmented Generation for Efficient Information Extraction이라는 논문을 통해 공개되었습니다. 연구진은 이 방법을 금융 도메인 데이터에 적용해 실험했으며, 복잡한 문서 구조와 데이터 관계가 중요한 환경에서 의미 있는 성능 개선을 확인했습니다.

HybridRAG의 작동 방식

Hybrid RAG을 이해하기 위해서는 먼저 이를 구성하는 두 가지 핵심 방식, 즉 Vector RAG과 Graph RAG이 각각 어떻게 작동하는지 살펴볼 필요가 있습니다.

VectorRAG

Vector RAG은 외부 문서를 검색해 LLM의 내부 지식과 결합하는 방식입니다. 기본적인 흐름은 다음과 같습니다:

1) 질의 (Query): 사용자가 질문이나 검색 질의를 입력합니다. 
2) 검색 (Search): 시스템이 모델의 사전 훈련에 사용하지 않았던 외부 문서들을 벡터 데이터베이스에서 찾습니다.이 데이터베이스에는 외부 문서들이 작은 텍스트 단위(청크)로 나뉘어 저장되어 있습니다.
3) 데이터 청크 처리 (Processing Chunks): 사용자가 입력한 질의나 검색 내용과 가장 유사한 텍스트 청크를 찾아 가져옵니다.
4) 응답 생성 (Generating Response): 언어모델이 선택한 청크를 내부 지식과 결합해 최종 응답을 생성합니다.

이 방식의 핵심 장점은 최신 문서나 외부 데이터를 활용해 모델이 더 정확하고 구체적인 답변을 생성할 수 있다는 점입니다. 즉, 모델이 사전에 학습한 정보만 사용하는 경우보다 더 풍부한 컨텍스트를 확보할 수 있습니다.

GraphRAG

Graph RAG 역시 외부 정보를 검색해 활용한다는 점에서는 Vector RAG과 유사하지만, 텍스트 문서가 아니라 **지식 그래프(Knowledge Graph)**를 기반으로 정보를 탐색한다는 점이 다릅니다.

1) 질의: 시스템에서 사용자의 질문을 받습니다.
2) 지식 그래프 검색: 시스템이 ‘지식 그래프’의 노드와 엣지를 따라가면서 관련 정보를 탐색합니다.
3) 서브 그래프 생성: 질의에 맞는 내용을 담은 지식 그래프의 일부를 서브 그래프로 검색, 추출합니다.
4) 컨텍스트 전달, 응답 생성: 추출된 서브 그래프를 언어 모델이 이해할 수 있는 형태로 처리, 인코딩해서 전달하고, 모델은 모델은 이를 기존 지식과 결합해 답변을 생성합니다.

특히 질문이 특정 기업이나 개체와 같이 명확한 엔티티를 중심으로 이루어져 있을 경우, 메타데이터를 활용해 정보를 필터링하고, 관련된 부분만 검색하여 보다 정확한 정보를 제공할 수 있습니다. 이러한 방식은 단순한 텍스트 검색에 비해 데이터 간 관계를 반영할 수 있기 때문에, 보다 체계적이고 검증 가능한 정보를 제공하는 데 강점이 있습니다.

HybridRAG

Hybrid RAG은 이러한 두 방식을 결합한 접근입니다.  작동 과정은 다음과 같습니다:

Vector RAG은 텍스트 유사성을 기반으로 폭넓은 관련 정보를 찾아내는 데 강점이 있고, Graph RAG은 데이터 간 구조적 관계를 반영하는 데 강점이 있습니다. 
Hybrid RAG은 이 두 가지 방식의 검색 결과를 함께 활용해 정보를 통합합니다.

1) 각 기법의 결합:
Vector RAG은 텍스트 유사성을 기반으로 폭넓은 관련 정보를 찾아내는 데 강점이 있습니다. 문서 기반의 관련 텍스트를 제공해 넓은 맥락을 확보합니다.
Graph RAG은 데이터 간 구조적 관계를 반영하는 데 강점이 있습니다.  지식 그래프를 통해 엔티티와 관계 정보를 보완합니다.

2) 최종 응답의 생성:
두 가지 기법을 통해서 추출된 텍스트 기반의 자료, 구조화된 정보를 모두 컨텍스트로 활용하여 더 정확하고 맥락을 잘 반영하는 응답을 생성합니다.

결과적으로 Hybrid RAG은 텍스트 기반 정보와 구조화된 지식을 동시에 반영함으로써, 보다 정확하고 맥락을 풍부하게 반영한 응답을 생성할 수 있도록 합니다. 특히 데이터의 내용뿐 아니라 데이터 간 관계까지 중요한 도메인에서는 이러한 결합 접근이 더 높은 효과를 보일 가능성이 있습니다.

Hybrid RAG의 성능은 실제로 얼마나 개선될까

연구진은 Hybrid RAG이 실제로 기존 방식보다 성능이 개선되는지 확인하기 위해 여러 평가 지표를 기준으로 Vector RAG과 Graph RAG을 비교 분석했습니다. 그 결과, 몇 가지 의미 있는 차이가 확인되었습니다.

1) Faithfulness (응답이 제공된 컨텍스트를 얼마나 충실하게 반영하는가):
GraphRAG과 HybridRAG이 0.96으로 높은 점수를 기록했고, VectorRAG은 0.94로 근소하게 낮은 수치를 나타냈습니다.

2) Answer relevance (질문의 의도에 얼마나 적합한 답변을 하고 있는가):
HybridRAG이 0.96으로 가장 높은 점수를 기록했고, VectorRAG (0.91)과 GraphRAG (0.89)이 근소한 차로 그 뒤를 뒤따랐습니다.

3) Context precision (추출된 컨텍스트가 실제 정답과 얼마나 정확하게 일치하는가):
GraphRAG이 0.96으로 최고점을 보여주었습니다. Vector RAG은 약 0.84, Hybrid RAG은 약 0.79 수준으로 상대적으로 낮은 결과를 나타냈습니다.

4) Context recall (검색된 정보가 실제 정답에 필요한 정보를 얼마나 빠짐없이 포함하고 있는가):
Vector RAG과 Hybrid RAG이 모두 최고 점수에 가까운 성능을 기록했습니다. 반면 Graph RAG은 약 0.85 수준으로 다소 낮은 결과를 보였습니다.

종합적으로 보면, 일부 지표에서는 트레이드오프가 존재하지만 Hybrid RAG은 Faithfulness, Answer Relevance, Context Recall 등 핵심 항목에서 안정적인 성능을 보이며 전반적으로 가장 균형 잡힌 결과를 나타냈습니다.

HybridRAG의 장점

Hybrid RAG은 복잡하고 전문성이 높은 도메인의 지식을 다루는 환경에서 검토해 볼 만한 접근 방식입니다. 텍스트 기반 정보와 구조화된 지식을 동시에 활용할 수 있다는 점에서 기존 RAG 방식이 가진 한계를 보완할 수 있기 때문입니다.

먼저 Hybrid RAG은 두 가지 서로 다른 정보 탐색 방식을 결합합니다. 텍스트 유사성을 기반으로 폭넓은 관련 정보를 찾아내는 Vector RAG의 장점과, 엔티티와 관계 구조를 중심으로 데이터를 이해하는 Graph RAG의 장점을 동시에 활용합니다. 그 결과 보다 넓은 범위의 컨텍스트와 구조화된 지식을 함께 확보할 수 있습니다.

이러한 결합은 답변의 정확도 향상으로 이어집니다. 텍스트 기반 정보와 관계 기반 정보를 동시에 활용함으로써 모델은 더 풍부한 맥락을 반영한 답변을 생성할 수 있고, 결과적으로 질문 의도에 보다 가까운 응답을 제공할 수 있습니다.

특히 재무 보고서나 기술 문서처럼 구조가 복잡하고 전문 용어가 많은 자료를 다룰 때 Hybrid RAG의 강점이 두드러집니다. 단순한 문서 검색만으로는 파악하기 어려운 데이터 간 관계를 함께 고려할 수 있기 때문에, 복잡한 질의에 대해서도 더 정교한 답변을 생성할 수 있습니다.

또한 여러 유형의 컨텍스트를 기반으로 응답을 생성하기 때문에 답변의 신뢰도를 높이는 데에도 도움이 됩니다. 다양한 출처의 정보를 함께 활용함으로써 오류 가능성을 줄이고, 보다 근거 기반의 답변을 생성할 수 있습니다.

다만 Hybrid RAG 역시 모든 상황에서 완벽한 해결책은 아닙니다. 두 가지 검색 방식을 결합하는 구조적 특성 때문에 몇 가지 현실적인 제약이 존재합니다.

먼저 컨텍스트가 결합되는 방식에 따라 답변의 정확도가 영향을 받을 수 있습니다. Vector RAG과 Graph RAG에서 추출된 정보가 하나의 컨텍스트로 통합되는 과정에서, 어떤 정보가 먼저 또는 나중에 반영되는지에 따라 생성되는 응답의 품질이 달라질 수 있습니다. GraphRAG 컨텍스트에서 답변이 생성되면, 해당 컨텍스트가 마지막에 추가되어서 정확도가 떨어질 수 있는 반면에, VectorRAG 컨텍스트에서 생성된 답변은 컨텍스트가 먼저 추가되어서 정확도가 좀 더 높아지는 경향이 있습니다.

또한 두 방식의 결과를 통합하는 과정에서 충돌이나 중복 문제가 발생할 가능성도 있습니다. 텍스트 기반 검색과 그래프 기반 검색이 서로 다른 정보를 제공할 경우, 최적의 답변을 만들어내기 위해 두 가지 서로 다른 기법이 가진 고유한 강점을 유지하면서 균형을 맞추는 것에 어려움을 겪을 수 있습니다.

시스템 구조 자체가 복잡해진다는 점도 고려해야 합니다. Vector RAG과 Graph RAG을 동시에 운영하면 데이터 처리 과정이 늘어나고, 그만큼 계산 비용과 응답 지연이 증가할 수 있습니다.

지식 그래프의 유지 관리 역시 중요한 요소입니다. 그래프 기반 구조는 데이터의 관계를 구조화해 활용한다는 장점이 있지만, 이를 정확하고 최신 상태로 유지하기 위해서는 지속적인 관리와 자원이 필요합니다.

마지막으로 Hybrid RAG은 기본적으로 참조 가능한 데이터가 존재해야 효과적으로 작동합니다. 벡터 데이터베이스나 지식 그래프에 관련 정보가 충분히 구축되어 있지 않은 경우, 특히 매우 전문적이거나 새로운 질문에 대해서는 기대만큼 정확한 답변을 제공하기 어려울 수 있습니다.

HybridRAG의 잠재력

앞서 살펴본 것처럼 Hybrid RAG이 제안된 배경에는 금융과 같은 전문 도메인에서 기존 RAG 방식이 가지는 한계를 보완하려는 목적이 있습니다. 전문 용어가 많고 문서 구조가 복잡하며, 데이터 간 관계까지 함께 고려해야 하는 환경에서는 단순한 텍스트 검색만으로 충분한 맥락을 확보하기 어려운 경우가 많기 때문입니다.

NVIDIA와 BlackRock 연구진의 분석에 따르면 Hybrid RAG은 이러한 환경에서 특히 유용한 접근 방식으로 평가됩니다. 텍스트 기반 정보 검색과 지식 그래프 기반 관계 탐색을 결합함으로써, 복잡한 문서 구조와 전문 용어가 포함된 데이터에서도 보다 정확한 정보를 추출할 수 있기 때문입니다.

이러한 특성은 금융 분석과 같은 업무에서 의미 있는 활용 가능성을 보여줍니다. 예를 들어 기업의 재무 현황을 분석하는 과정에서 수치 데이터와 서술형 분석 자료를 함께 해석해야 하는 경우, Hybrid RAG은 서로 다른 형태의 정보를 동시에 활용해 분석 효율을 높일 수 있습니다.

또한 기술 문서 비교, 조사 분석, 규제 문서 검토와 같이 전문 지식과 문서 간 관계 파악이 중요한 업무에서도 활용 가능성이 제기되고 있습니다. 엔지니어링이나 법률 분야처럼 전문 용어와 복잡한 지식 구조가 중요한 영역에서도 Hybrid RAG은 유의미한 역할을 할 수 있을 것으로 기대됩니다.

결국 Hybrid RAG은 단순히 검색 성능을 개선하는 기술을 넘어, 복잡한 전문 지식을 보다 체계적으로 활용할 수 있도록 돕는 아키텍처로 이해할 수 있습니다. 특히 데이터의 내용뿐 아니라 관계와 구조까지 함께 고려해야 하는 도메인에서는 이러한 접근이 앞으로 더 중요한 역할을 하게 될 가능성이 있습니다.

Writer: Turing Post - Ksenia Se & Ben Eum

Edit: Metanet