지난 글에서는 AI가 학습할 고품질 데이터가 고갈되는 시대, 합성 데이터가 왜 필요한지 알아봤습니다. 그러나 품질이 검증되지 않은 합성 데이터는 모델 붕괴를 가져올 수 있습니다. 이러한 합성 데이터의 한계를 극복하기 위한 필수적인 해법으로 'HITL(Human-in-the-Loop, 인간 개입 학습)' 접근 방식이 주목받고 있습니다. 합성 데이터가 모래 위에 지은 집이 되지 않도록, HITL이 어떻게 데이터의 품질을 통제하고 완성도를 높이는지 구체적으로 살펴보겠습니다.

합성 데이터의 검증(Validating) 및 큐레이션(Curating)

검증되지 않은 합성 데이터를 무분별하게 사용하는 것은 시스템의 근간을 흔드는 위험한 시도입니다. 따라서 사람이 개입하는 첫 번째 관문은 철저한 품질 관리(Quality Control)입니다. 예를 들어, 제조 현장에서 결함 이미지를 합성으로 생성할 때 물리 법칙에 어긋나는 이미지가 만들어지거나, 의료 데이터 생성 시 임상적으로 불가능한 증상 조합이 포함될 수 있습니다. 이때 HITL 워크플로우는 ‘생성 → 사람의 검토 → 수정 → 선별’의 순환 구조를 통해 작동합니다.

전문가들은 생성된 데이터셋을 검토하여 비현실적이거나 논리적 오류가 있는 데이터를 제거하고, 미세한 인공적 흔적(Artifact)을 식별해 냅니다. 이를 통해 최종 훈련 데이터셋에는 고품질의 현실적인 데이터만이 포함되도록 보장하며, 모델이 잘못된 패턴을 학습하는 것을 원천적으로 방지합니다.

데이터 레이블링(Labeling) 및 정제(Refining)

데이터 주석(Annotation) 작업은 AI 개발 과정에서 가장 많은 시간과 비용이 소요되는 단계입니다. HITL은 이 과정을 획기적으로 단축하는 솔루션을 제공합니다.

처음부터 사람이 일일이 레이블을 다는 대신, 모델이 1차적으로 '사전 레이블링(Pre-Labeling)'을 수행합니다. AI가 이미지의 바운딩 박스(Bounding Box)를 제안하거나 텍스트의 감정(Sentiment)을 먼저 분류하면, 사람은 이 ‘추측(Guess)’의 적절성을 검토하고 수정하는 역할만 수행합니다.

이러한 '편집자로서의 인간(Human-as-Editor)' 접근법은 레이블링 속도를 크게 높이면서도, 전문가의 검수를 통해 최종 데이터의 정확도를 확보할 수 있게 합니다. 이렇게 정제된 데이터는 모델의 파인튜닝(Fine-Tuning)이나 지식 증류(Knowledge Distillation) 등 고효율 모델 개발에 핵심적으로 활용됩니다.

인간 피드백 기반 강화 학습 (RLHF)
 

RLHF(Reinforcement Learning from Human Feedback)는 가장 정교한 형태의 HITL 전략입니다. 모델의 행동을 인간의 선호(Human Preference)와 가치관에 부합하도록 조정하는 기법으로, 그 과정은 다음과 같습니다.

이 피드백 루프를 통해 모델은 단순한 단어 예측을 넘어, '인간의 관점에서 좋은 답변'이 무엇인지 학습하게 됩니다. ChatGPT나 Claude와 같은 최신 모델들이 맥락을 이해하고 유익한 대화를 나눌 수 있는 배경에는 바로 이 기술이 있습니다.

결국 이 모든 기법의 핵심은 피드백 루프(Feedback Loop)입니다. AI가 데이터를 생성하면, 사람은 오류를 거르고 현실의 맥락(Context)과 도메인 지식, 윤리적 기준을 주입하여 AI가 나아갈 방향을 올바르게 인도하는 것입니다.

‘합성 데이터 + HITL’ 체계를 활용하는 실제 사례

합성 데이터와 HITL의 결합은 AI 개발 전반에서 이미 다양한 방식으로 적용되고 있습니다. 아래는 그중 대표적인 사례입니다.

OpenAI의 GPT-4.5 사례

2025년 2월 출시된 GPT-4.5는 전작의 고질적 문제였던 '아첨(Sycophancy)' 현상을 해결했습니다. GPT-4는 사용자의 입장에 과도하게 동조하는 경향이 있었는데, 이는 보상 모델(Reward Model)이 정확성보다 동의(Agreement)에 더 높은 점수를 주도록 잘못 학습된 결과였습니다.

GPT-4.5는 다른 접근을 택했습니다. 더 작은 모델들이 생성한 합성 데이터를 먼저 대량 활용하고 이후 HITL 기반 리뷰·수정·순위 매기기 과정을 통해 보상 모델을 정교하게 재학습했습니다. 이 새로운 파이프라인은 명확성, 뉘앙스, 강건성을 우선시하도록 설계되었습니다. 그 결과 GPT-4.5는 단순히 사용자가 듣고 싶어 하는 말이 아니라, 더 균형 잡히고 조정력이 높은 응답을 생성하게 됐습니다.

마이크로소프트 Phi-4 훈련 전략

마이크로소프트의 140억 파라미터 소형 언어 모델(SLM)인 Phi-4는 “데이터 품질이 모델 크기보다 중요하다”는 전략을 대표적으로 보여줍니다. Phi-4는 사전 훈련부터 사후 정렬까지 50개 이상의 정교한 합성 데이터셋을 사용했습니다. 이 데이터셋들은 멀티 에이전트 프롬프팅(Multi-Agent Prompting) - 여러 AI 에이전트가 서로 질문 답변을 하면서 협업하는 방식으로, 더 정교하고 다양한 출력을 생성하기 위한 프롬프트 설계 기법 - 과 자기 수정(Self-Revision) 워크플로우를 통해서 생성되었고, 연쇄적 사고(Chain-of-Thought, CoT) 추론과 같은 기술을 모델에게 가르치기 위해서 설계되었습니다.

Phi-4 훈련 과정은 최상의 합성 데이터조차도 현실(Reality)에 기반해야 한다는 점을 보여줍니다. 최종 사전 훈련 구성물(Final Pre-Training Mixture)에는 고도로 필터링된 웹 데이터(Web Data), 코드(Code), 학술 논문(Academic Paper)이 포함되었는데, 이것들은 직접적인 훈련 자료로도, 그리고 합성 생성(Synthetic Generation)을 위한 시드(Seed)로도 활용되었습니다. 중요한 것은, 합성 데이터(Synthetic Data)는 Phi-4가 “모르겠습니다(I don’t know)”라고 말해야 할 때를 학습시키는 데도 활용되었다는 겁니다. 

마이크로소프트의 연구팀은 답변할 수 없는 질문(Unanswerable Question)에 대한 예시를 생성하고, 정답으로는 공손한 거절 표현을 포함한 합성 응답을 사용했습니다. 이건 많은 모델이 가진 핵심적인 약점인 환각(Hallucination)을 직접적으로 방지하는 전략입니다. 그 결과, Phi-4는 훨씬 거대한 모델들을 능가하는 추론 및 코딩 성능을 입증했습니다.

엔비디아 Cosmos와 컴퓨터 비전의 미래

엔비디아의 Cosmos 모델은 시뮬레이션 데이터를 고품질의 사실적인 비디오와 센서 데이터로 변환하여 자율주행 및 로보틱스 훈련을 지원합니다. 엔지니어들은 Omniverse 플랫폼 내에서 날씨, 조명, 돌발 상황 등 현실에서 수집하기 어려운 엣지 케이스(Edge Case)를 무한히 생성하고 제어할 수 있습니다. 전문가가 설계한 가상 환경에서의 검증(Validation)을 통해, 실제 물리 세계에서도 안전하게 작동하는 AI 모델을 구현하고 있습니다.

‘협업’이 미래다

2024년 이후 AI 개발의 패러다임은 변화하고 있습니다. 고품질의 실제 데이터(Real-World Data)가 고갈되어 가는 시점에서, 합성 데이터는 더 강력하고 안전한 AI 구축을 위한 필수 요소가 되었습니다. 그러나 주요 기업들의 사례가 증명하듯, AI 단독으로는 완벽해질 수 없습니다. 모델 붕괴의 위험을 막고 현실적인 가치를 창출하기 위해서는 사람의 판단(Human Judgment)이 반드시 개입되어야 합니다. 이제 인간의 역할은 단순한 데이터 수집가를 넘어 큐레이터(Curator), 감독관(Director), 그리고 윤리적 감시자(Ethicist)로 진화하고 있습니다.

앞으로의 데이터셋 개발자들은 AI 개발의 방향성을 설정하고 관리하는 리더십을 발휘하게 될 것입니다. AI의 미래는 기계에 의한 완전 자동화가 아닌, 인간의 지능이 기계의 생성 능력을 이끄는 정교한 협업(Collaboration)에 달려 있습니다. 이것이 바로 우리가 AI와 공존하며 새로운 가능성을 열어가는 방식입니다.

Writer: Turing Post - Ksenia Se & Ben Eum

Edit: Metanet