
기업에서 AI 에이전트가 맡는 일이 늘고 있습니다. 에이전트가 얼마나 빠르고 정확하게 일을 처리하는지, 결과물을 실제 업무에 쓸 수 있는지는 당연히 확인해야 합니다. 그런데 작업을 마친 뒤에는 또 하나의 질문이 남습니다. 그 일을 해낸 경험도 기업에 쌓이고 있을까요?
AI 에이전트를 많이 쓰는 것과 그 경험이 조직에 축적되는 것은 다릅니다. 작업 과정을 들여다보면 최종 결과물만으로는 알 수 없는 정보가 있습니다. 어떤 접근이 효과적이었는지, 어디서 시행착오를 겪었는지, 다음에는 무엇을 먼저 확인하거나 자동화해야 하는지 같은 것들입니다. 이런 경험을 다음 에이전트도 활용할 수 있다면 같은 일을 처음부터 다시 탐색하는 수고를 줄일 수 있습니다.
최근에는 작업 기록과 평가 결과에서 재사용할 만한 교훈을 찾아 업무 지침을 개선하는 과정을 자동화하려는 연구가 이어지고 있습니다. 다만 모든 경험이 다른 업무에도 통하는 교훈은 아닙니다. 수많은 시행착오 가운데 무엇을 남기고, 그 교훈이 새로운 상황에서도 도움이 되는지는 어떻게 확인해야 할까요?
경험을 다음 업무에 전달하는 방법, 스킬
에이전트가 작업에서 얻은 방법을 다음 업무에서도 활용하려면 필요한 순간에 꺼내 쓸 수 있는 형태로 정리해야 합니다. ‘스킬’은 그 수단 중 하나입니다.
스킬은 에이전트가 작업할 때 참고하는 지침과 자료, 검사 도구, 템플릿 등을 담은 묶음입니다. 어떤 순서로 일하고 어떤 도구를 사용하며 마지막에 무엇을 확인해야 하는지 알려줍니다. 모델이 잘 모르는 분야의 지식이나 작업 방법을 보완할 수도 있고 조직이 원하는 방식으로 일하도록 안내할 수도 있습니다.
기업에서는 두 번째 역할도 중요합니다. 모델이 일반적인 업무 원칙을 알고 있더라도 해당 조직에서 어떤 자료를 기준으로 삼고 어떤 검사를 거쳐 결과를 승인하는지까지 저절로 알 수는 없습니다. 스킬은 이런 작업 환경의 지식과 절차를 전달합니다.
작업에 필요한 지침을 불러와 사용하는 방식이므로 모델 자체를 다시 학습시키지 않고도 업무 방식을 반영할 수 있습니다. 사람이 지침을 직접 확인하고 수정한 뒤 결과가 나아졌는지 시험할 수 있고 문제가 생기면 이전 버전으로 되돌릴 수도 있습니다.
경험에서 더 나은 방법을 찾는 법
스킬을 개선하는 가장 간단한 방법은 실패 사례를 보여주고 같은 실수를 반복하지 않도록 지침을 고치게 하는 것입니다. 하지만 실패할 때마다 예외 규칙을 덧붙이면 지침이 길고 복잡해집니다. 무엇이 언제 필요한지도 흐려집니다. 규칙을 많이 추가했다고 해서 실제로 일을 더 잘하게 됐는지는 알 수 없습니다.
Microsoft의 SkillOpt는 이런 수정 과정에 검증 절차를 붙입니다. 현재 스킬로 작업한 기록과 결과를 분석해 수정안을 만듭니다. 이어 수정안을 만드는 데 쓰지 않은 별도의 과제에서 평가해 채택 여부를 결정합니다. 기존보다 결과가 좋아졌을 때 수정안을 받아들이는 방식입니다. 문장이 매끄러워지거나 규칙이 늘어났는지가 아니라 실제 작업 결과를 기준으로 지침의 개선 여부를 판단합니다.
수정을 반복하다 보면 또 다른 문제가 생깁니다. 이번 문제를 해결하려고 바꾼 지침 때문에 이전에 해결한 문제가 다시 나타나거나, 일부 작업에 도움이 된 변경이 다른 작업을 방해할 수 있습니다.
중국인민대학교와 Tencent의 SkillAdam은 무엇을 바꿨고 결과가 어땠는지 기록하면서 다음 수정을 진행합니다. 이미 해결했던 문제가 다시 나타나면 이전 기록을 살펴보고 수정 효과가 불안정하면 한 번에 바꾸는 범위를 줄입니다. 새로운 문제를 해결하면서 앞선 개선도 유지하려는 접근입니다. 서로 반대되는 지침이 필요해지는 경우에도 어느 한쪽을 무조건 선택하기보다 각각 어떤 조건에서 적용해야 하는지 구분하는 것이 중요합니다.
한편 작업의 유용성을 나중에야 확인할 수 있는 경우도 있습니다. 에이전트가 남긴 코드 리뷰가 도움이 됐는지는 이후 개발자가 그 지적을 반영했는지, 잘못된 지적이라며 반박했는지를 봐야 알 수 있습니다. 이때는 당시 에이전트의 행동과 이후 확인된 결과를 연결해 살펴볼 필요가 있습니다.
OpenHands의 SkillRefiner는 이미 끝난 작업의 기록과 실제 결과에서 개선안을 찾습니다. 성공 사례에서는 유지할 행동을, 실패 사례에서는 고칠 행동을 추려 지침 수정을 제안합니다. 작업 전체를 다시 실행하지 않고도 축적된 기록을 활용할 수 있습니다. 다만 기록이 문제 진단을 뒷받침한다는 사실과 제안한 해결책이 효과적이라는 사실은 별개입니다.
작업 기록에서 무엇을 교훈으로 남길지 고를 때도 반복되는 현상을 곧바로 원인으로 받아들여서는 안 됩니다. 실패한 작업에서 문제라고 생각한 행동이 성공한 작업에서도 나타났다면, 그 행동 자체가 실패의 원인은 아닐 수 있습니다. 교훈으로 남기기 전에 성공 사례와 대조해야 하는 이유입니다. 에이전트가 스스로 성공했다고 판단한 것만으로도 부족합니다. 테스트를 통과했는지, 개발자가 리뷰 내용을 실제로 반영했는지처럼 밖에서 확인할 수 있는 결과를 근거로 삼아야 합니다.
이렇게 근거를 확인하면 재사용할 만한 교훈을 추릴 수 있습니다. 다음으로 확인할 것은 그 교훈을 반영한 지침이 새로운 업무에서도 도움이 되는지입니다.
새로운 업무에서도 효과가 있는가
스킬을 고친 뒤 이전보다 좋은 결과가 나왔다면 다른 업무에도 적용해 보게 됩니다. 하지만 특정 과제를 잘 해결하도록 지침을 다듬은 것과 여러 업무에서 활용할 수 있는 방법을 찾은 것은 다릅니다. 수정 과정에서 사용한 과제에만 지침이 맞춰졌을 수도 있기 때문입니다.
이때 수정안을 고르기 위한 평가와 모든 수정이 끝난 뒤의 최종 평가는 구분해야 합니다. 처음부터 평가용으로 따로 둔 과제라도, 그 결과를 보며 수정안을 반복해서 고르면 결국 그 과제에 맞는 지침이 만들어질 수 있습니다. 따라서 최종 확인에는 수정안을 만들거나 고르는 데 한 번도 쓰지 않은 과제를 사용해야 합니다.
2026년 9월 30일 공개된 논문 「Do Self-Evolving Skills Generalize to Held-Out Tasks?」 에서는 스킬을 고치는 데 사용한 과제와 처음 보는 과제의 결과를 비교했습니다. 기존 과제에서 성능이 좋아진 스킬은 21개였습니다. 이들을 새로운 과제에 적용하자, 앞서 확인한 개선 폭을 그대로 유지한 스킬은 5개였고 13개는 일부만 유지했으며 3개는 개선 효과를 이어가지 못했습니다. 기존 과제에서 확인한 성과만으로는 다른 업무에서도 얼마나 도움이 될지 판단하기 어렵습니다.
이런 한계를 보인 스킬에는 특정 작업에만 있던 파일명이나 데이터 항목이 규칙에 그대로 들어간 경우가 있었습니다. 한 번의 실패를 막기 위한 조치가 모든 업무에서 지켜야 할 조건으로 바뀐 경우도 있었습니다. 해당 작업에서는 유용했던 지침이 다른 업무에서는 불필요한 검사와 추가 작업을 낳을 수 있습니다.
따라서 새로운 업무에서 스킬을 평가할 때는 두 가지를 함께 봐야 합니다. 상황이 달라져도 같은 문제를 알아보고 필요한 규칙을 적용하는지, 반대로 그 규칙이 필요 없는 업무에서는 적용하지 않는지입니다. 무엇을 해야 하는지만 적어두는 것보다, 어떤 조건에서 해야 하는지까지 명확히 정한 스킬이 필요한 이유입니다.
AI의 판단만으로 수정의 효과를 예측하는 데도 한계가 있습니다. 같은 연구에서 대규모 언어 모델(LLM)은 완성된 스킬 가운데 어느 쪽이 더 나은지는 비교적 잘 가려냈지만 특정 문장을 추가하거나 바꿨을 때 성능이 어떻게 달라질지는 제대로 예측하지 못했습니다. AI의 평가는 참고할 수 있어도 개별 수정안을 채택할 근거로 삼기에는 부족하며 실제 효과는 새로운 과제에서 직접 실행해 확인해야 합니다.
Alibaba의 skill-up은 이런 평가를 돕는 도구입니다. 평가 사례를 실행하고 스킬을 사용한 경우와 사용하지 않은 경우를 비교해 결과를 정리합니다. 기존 스킬과 수정한 스킬을 비교할 때도 같은 조건에서 실행한 결과를 살펴야 합니다. 이때 정확도가 얼마나 높아졌는지와 함께, 불필요한 검사나 도구 호출이 늘지는 않았는지, 실행 시간과 토큰 사용량은 어떻게 달라졌는지를 확인해야 합니다. 기업에서는 품질 향상뿐 아니라 그에 필요한 시간과 비용까지 알아야 수정의 효과를 판단할 수 있습니다.
이 비교가 의미 있으려면 평가 기준도 일관돼야 합니다. 수정한 스킬이 통과하기 쉽도록 기준을 느슨하게 바꾸면, 지침이 좋아진 것인지 평가가 쉬워진 것인지 구분하기 어렵습니다. 평가 방식 자체에 문제가 있다면 바로잡되, 스킬을 고치는 일과 평가 기준을 바꾸는 일은 구분해야 합니다. 평가 기준을 변경할 때는 사람이 확인해야 합니다.
이 과정을 거치면 어떤 교훈을 다음 업무에 활용할지 판단할 근거가 생깁니다. 그다음에는 검증된 교훈을 어떤 형태로 남겨야 실제 업무에서 쓰일지 결정해야 합니다.
검증된 교훈을 조직에 남기는 방법
새로운 업무에서도 효과를 확인했다면, 이제 그 방법을 다음 에이전트가 활용할 수 있는 형태로 남겨야 합니다. 이때 모든 교훈을 글로 된 지침에 담을 필요는 없습니다. 무엇을 해결하려는지에 따라 자동 검사나 도구로 만드는 편이 더 효과적일 수 있습니다.
Matt Pocock의 /retro는 에이전트가 자신의 작업 경험을 돌아보고 작업 환경의 개선점을 제안하도록 하는 스킬입니다. 교훈을 남기는 방식에 관한 원칙도 담고 있습니다. 기계적으로 찾아낼 수 있는 실수는 자동 검사로 만들고 사람의 판단이 필요한 결정은 글로 된 지침에 남기도록 합니다.
필수 항목 누락이나 잘못된 파일 형식처럼 명확히 판별할 수 있는 오류가 그렇습니다. 지침에 “주의하라”고 적어두면 다음 에이전트도 그 문장을 읽고 실수를 피해야 합니다. 반면 자동 검사로 만들면 문제가 생겼을 때 바로 오류를 알려줄 수 있습니다. 여러 도구를 같은 순서로 반복해서 사용하는 작업도 하나의 도구로 묶어두면, 다음 에이전트가 같은 절차를 매번 조합하는 데 드는 시간과 비용을 줄일 수 있습니다.
상황에 따라 판단이 달라지는 절차는 스킬의 지침에 남기는 것이 적합합니다. 언제 검사를 실행할지, 경고를 어떻게 해석할지, 어떤 경우에 추가 확인이 필요한지 등을 정리합니다. 자동 검사가 명확한 오류를 찾아낸다면, 스킬의 지침은 그 검사와 도구를 어떤 조건에서 어떻게 사용할지 안내합니다. 교훈을 어디에 남길지에 따라 다음 작업에서 그 교훈을 쓰는 방식도 달라집니다.
이렇게 남긴 지침과 도구를 이후에도 활용하려면 그것이 만들어진 이유까지 알 수 있어야 합니다. 어떤 문제를 해결하려 했고 무엇을 시험했으며 왜 수정안을 채택하거나 기각했는지를 함께 기록해야 합니다. 다음 사람이 지침을 수정할 때도 이 기록을 통해 어떤 실패를 막으려던 규칙인지, 변경하면 무엇을 다시 확인해야 할지 판단할 수 있습니다.
그 기록은 작업 환경이나 모델이 달라졌을 때도 필요합니다. 이전 모델의 약점을 보완하려고 만든 우회 방법은 더 나은 모델이 나오면 필요 없어질 수 있습니다. 반면 조직의 업무 방식이나 정책을 전달하는 지침은 모델이 바뀌어도 유지할 필요가 있습니다. 한 번 검증한 교훈을 보관하는 데서 그치지 않고 지금도 유효한지 살펴볼 근거까지 남겨야 합니다. 규칙이 생긴 이유와 적용 조건을 알아야 계속 쓸 방법과 고치거나 덜어낼 방법을 구분할 수 있습니다.
좋은 에이전트 시스템은 무엇을 남기는가
AI 에이전트의 경험을 조직에 축적하려면 실제 결과를 근거로 재사용할 교훈을 가려내고 새로운 과제에서도 효과가 있는지 확인해야 합니다. 그렇게 검증한 방법을 적용 조건과 함께 지침과 도구로 남길 때, 한 번의 작업에서 얻은 경험이 다음 업무의 출발점이 됩니다.
좋은 에이전트는 결과물을 남깁니다. 그리고 좋은 에이전트 시스템은 그 결과를 만든 방법 가운데 실제로 효과가 확인된 부분까지 조직의 역량으로 남깁니다.
