뉴로-심볼릭 AI(Neuro-symbolic AI)는 차세대 AI로 나아가는 하나의 강력한 접근 방식으로 주목받고 있습니다. 이 기술은 AI의 추론 과정을 인간의 사고 방식에 보다 가깝게 만들고, 사람들이 의사결정을 할 때 논리와 직관을 함께 사용하는 방식을 모방하려는 시도라고 볼 수 있습니다.

뉴로-심볼릭 AI의 핵심은 두 개의 서로 다른 세계를 결합하는 데 있습니다. 데이터에서 패턴을 학습하는 데 뛰어난 신경망(Neural Networks)과, 구조화된 지식과 논리를 기반으로 추론하는 심볼릭 시스템(Symbolic Systems)을 하나로 통합하는 것입니다.

오늘은 뉴로-심볼릭 AI가 무엇인지, 그리고 왜 차세대 AI를 논의하는 데 있어 중요한 접근 방식으로 거론되는지 살펴보고자 합니다.

신경망과 심볼릭 AI

개념을 정확히 이해하기 위해, 먼저 뉴로-심볼릭 AI를 구성하는 두 가지 요소를 살펴보겠습니다.

심볼릭 AI (Symbolic AI)

심볼릭 AI는 기호, 논리, 규칙을 활용해 지식을 표현하고 추론하는 방식에 초점을 둡니다. 이 접근은 “컴퓨터는 논리와 구조화된 패턴을 기반으로 작동한다”는 관점에서 출발하며, 기계가 인간의 지식을 비교적 명시적인 형태로 포착할 수 있다는 점에서 직관적으로 설득력이 있습니다. 

1950년대부터 1980년대까지 초기 AI 시스템들은 주로 이러한 심볼릭 접근 방식을 따랐습니다. 이 방식으로 구축된 시스템은 스스로 어떤 과정을 통해 결론에 도달했는지를 비교적 명확하게 설명할 수 있었고, 적은 데이터로도 작동할 수 있다는 장점이 있었습니다. 그러나 현실 세계의 복잡하고 예외가 많은 상황에서는 성능에 한계가 있었고, 스스로 학습하거나 일반화하는 능력 역시 제한적이었습니다. 규칙을 따르거나 단순한 대화를 시뮬레이션하는 수준에 머무른 경우가 많았다고 보는 것이 타당합니다.

정리하면, 심볼릭 AI는 논리와 규칙, 구조화된 지식을 강조하며 인간이 읽을 수 있는 기호를 사용해 객체, 개념, 관계를 표현합니다. 결정에 대해 명확하고 해석 가능한 설명을 제공할 수 있다는 강점이 있는 반면, 처리 속도가 느리고 유연성이 부족하며, 대규모 데이터를 효과적으로 다루지 못한다는 한계를 지니고 있습니다.

신경망(Neural Networks), 혹은 연결주의 AI(Connectionist AI)

신경망 AI는 인간의 뇌 구조에서 영감을 받은 접근 방식입니다. 지능을 “단순한 계산 유닛들이 서로 연결된 네트워크의 결과”로 보고, 내부 가중치를 조정하며 대량의 데이터를 통해 학습합니다. 이 개념은 1943년 제안된 이후 꾸준히 발전해 왔으며, 1980년대에는 전통적인 규칙 기반 심볼릭 AI를 대체할 수 있을지에 대한 논쟁을 촉발하기도 했습니다. 이후 딥러닝 혁명으로 이어지며, 오늘날 이미지 인식, 음성 인식, 자연어 처리 등 우리가 사용하는 수많은 AI 서비스의 기반이 되었습니다.

신경망의 강점은 대량의 데이터에서 패턴과 관계를 식별하는 능력에 있습니다. 이미지 및 음성 인식, 자연어 처리(NLP) 등 인식 중심의 작업에서 뛰어난 성능을 보이며, 예측뿐 아니라 일종의 '직관적인' 아이디어를 생성하는 데도 효과적입니다. 반면, 특정 결정을 내린 이유를 명확히 설명하기 어렵다는 점에서 불투명성이 존재하고, 막대한 양의 데이터와 계산 자원이 필요합니다. 또한 추론 과정을 논리적으로 결합하거나 명시적 규칙을 다루는 작업에는 상대적으로 취약한 모습을 보입니다.

이처럼 우리는 매우 뚜렷한 장단점을 지닌 두 가지 접근 방식을 마주하고 있습니다. 각각의 강점을 취하면서 한계를 보완하기 위한 하이브리드 접근이 필요해졌고, 이러한 문제의식에서 뉴로-심볼릭 AI가 등장하게 되었습니다.

뉴로-심볼릭 AI의 길: 두 가지 방식의 결합

뉴로-심볼릭 AI는 신경망의 학습 능력과 심볼릭 AI의 추론 능력 및 해석 가능성을 결합하는 것을 목표로 합니다. 즉, 경험으로부터 학습하면서도 학습한 내용을 논리적으로 추론할 수 있는 AI 시스템을 구축하려는 시도입니다.

'뉴로-심볼릭 AI'라는 용어는 1990년대와 2000년대 초반, 심볼릭 구조를 통합하거나 차용한 신경망을 설명하기 위해 사용되기 시작했습니다. 이후 2015년을 전후로 딥러닝이 연구의 중심이 되었음에도 불구하고, 추론, 구성성(compositionality), 데이터 효율성 측면에서 여전히 한계가 드러나자, 이를 보완할 대안으로 뉴로-심볼릭 접근이 다시 주목받게 되었습니다.

대표적인 연구들은 다음과 같습니다.

뉴로-심볼릭 AI의 장점과 한계

뉴로-심볼릭 AI는 여러 측면에서 의미 있는 이점을 제공합니다.

종합적으로 뉴로-심볼릭 모델은 순수 신경망이 간과하기 쉬운 논리적 제약 조건을 처리하며, 추론 과정을 명확히 설명함으로써 시스템에 대한 신뢰도를 제고합니다.

다만, 향후 해결해야 할 과제도 존재합니다. 메릴랜드 대학교 연구진은 다음 세 가지 핵심 질문을 던집니다.

해석 가능성을 유지하며 대규모 노이즈 데이터셋으로 심볼릭 추론을 확장하는 방법은 무엇인가?
시간 경과에 따라 지식을 업데이트하는 맥락 인식(Context-aware) 학습 메커니즘을 어떻게 설계할 것인가?
스스로 오류를 감지하고 수정하는 메타 인지 피드백 루프(Meta-cognitive Feedback Loops)를 어떻게 구축할 것인가?

자가 개선 시스템(Self-improving Systems)의 시대를 앞둔 현재, 특히 마지막 과제는 가장 큰 간극으로 남아 있습니다. 이러한 연구가 진전된다면, 뉴로-심볼릭 AI의 성과 역시 한층 고도화될 것으로 기대됩니다.

뉴로-심볼릭 AI, AGI로 가는 길

많은 글로벌 IT 기업 가운데, 특히 IBM은 뉴로-심볼릭 AI를 AGI로 가는 핵심적인 접근 방식으로 보고 있습니다. 현재의 통계적 AI(LLM 등)가 가진 구조적 한계인 명시적 지식 표현 및 데이터 효율성 문제를 이 기술이 해결할 수 있다고 믿기 때문입니다. IBM은 뉴로-심볼릭 AI를 “현재의 AI와 AGI를 포함한 AI의 최종 목표 사이의 간극을 메우는 근본적 방법론”으로 정의하고 있습니다.

구글 딥마인드의 AlphaGeometry는 이러한 가능성을 실증한 대표적 사례입니다. 2025년 초 공개된 AlphaGeometry 2는 심층 언어 모델과 형식적 심볼릭 추론을 결합하면 이제 기하학에서 최고 수준의 인간 전문가보다도 뛰어난 성과를 보여줄 수 있다는 것을 증명했습니다.

AlphaGeometry 2는 국제 수학 올림피아드(IMO) 기하학 문제(2000–2024)의 84%를 해결했고, 평균적인 IMO 금메달리스트의 성과를 능가했습니다. 움직이는 객체(궤적, Locus) 문제, 각도, 비율, 거리를 포함하는 선형 방정식, 비구성적 증명(Non-constructive Proofs)을 처리합니다. Gemini를 사용해서 텍스트를 형식적 기하학 언어로 파싱하고 다이어그램을 자동으로 생성해서 자연어로부터 완전히 자동화된 문제 해결을 수행했습니다.

AlphaGeometry는 다음 두 가지를 결합했습니다. 우선 추론 단계와 문제 통찰력을 생성하는 Gemini 기반 신경 언어 모델입니다. 그리고 형식적 증명기(Formal Prover)인 심볼릭 엔진으로, 빠르게 규칙 기반의 기하학적 연역(Geometric Deductions) 작업을 수행하고, 추론 단계를 검증하고 확장합니다.

속도와 커버리지를 강화하기 위해서, AlphaGeometry 2는 혁신적인 Shared Knowledge Ensemble of Search Trees (SKEST) 알고리즘을 구현했습니다. 병렬로 실행되는 여러 검색 트리를 사용해서 각각의 문제를 해결하는 다양한 방법을 탐색하고, 지식을 공유(Knowledge-sharing)해서 더 효과적으로 협력할 수 있게 합니다. 이것은 뉴로-심볼릭 시스템이 제대로 구축되고 강력한 LLM이 뒷받침을 할 때 보여줄 수 있는 최상의 결과라고 할 수 있습니다.

뉴로-심볼릭 접근 방식에 해당하는 연구와 그 결과물들은 점점 확대되고 있고, 이런 결과물들이 보여주는 뛰어난 성능 때문에라도 분명히 염두에 두고 생각해 볼 만한 가치가 있습니다.
 

지금까지 살펴본 것처럼, 뉴로-심볼릭 AI는 신경망과 심볼릭 AI라는 두 접근 방식의 강점을 결합하려는 시도입니다. 많은 전문가들은 AI의 미래가 이러한 하이브리드 접근에 달려 있다고 보고 있습니다.

이 방식은 기계와 인간의 사고 방식을 혼합하는 과정처럼 보이기도 합니다. 구조화된 논리와 유연한 직관을 동시에 활용하는 AI가 등장한다면, 이는 단순한 자동화를 넘어 진정한 의미의 AI 기반 증강으로 이어질 가능성이 있습니다. 향후에는 여기에 또 다른 네트워크 구조나 새로운 아이디어가 더해질 수도 있을 것입니다.

앞서 언급한 한계들을 극복하고, 뉴로-심볼릭 AI에 스스로를 성찰하고 개선하는 능력까지 결합된다면, 지금까지 보지 못했던, 그리고 인간에 한층 더 가까운 새로운 형태의 AI가 등장할지도 모릅니다. 그 가능성을 기대하며 지켜볼 만한 시점입니다.

Writer: Turing Post - Ksenia Se

Edit: Metanet