가장 똑똑한 모델의 자리를 찾는 일

새로운 모델이 나올 때마다 저희는 같은 질문으로 돌아옵니다. 이 모델에게 고객의 일을 맡길 수 있을까.

OpenAI가 공개한 GPT-6 Astra도 그랬습니다. OpenAI는 이 모델이 컴퓨터와 브라우저를 다루고 여러 단계의 업무를 수행하는 데 강점이 있다고 설명합니다. 저희도 테스트해봤습니다. 그리고 한 가지 질문을 더 했습니다. 이 모델로 고객의 에이전트가 한 달 동안 일하면 얼마가 들까.

한 번의 시연에서는 끝까지 해냈다는 사실에 집중하게 됩니다. 실제 업무에서는 그 일을 내일도, 다음 주에도 맡겨야 합니다. 한 번 성공했을 때의 비용과 매일 반복해도 감당할 수 있는 비용은 다른 질문입니다.

UpServe에서 저희가 다뤄온 짧은 영상 제작, 문서 처리, 브라우저 조작, 데이터베이스를 오가는 업무는 대개 모델이 상황을 읽고 다음 행동을 정하는 과정을 30~50차례 거칩니다. 자료를 읽고, 도구를 실행하고, 결과를 확인한 뒤 다음으로 넘어갑니다. 중간에 잘못된 길로 들어서면 돌아오는 과정도 필요합니다.

그동안 모델은 여러 번 호출됩니다. 매번 읽는 정보의 양도, 생각하고 답을 만드는 양도 다릅니다. 에이전트의 모델 비용은 이 호출들의 비용을 모두 더한 값입니다. 입력과 출력에 적용되는 단가가 다르고, 이전 입력을 재사용하는 캐시도 비용에 영향을 줍니다. 업무 전체의 운영비를 보려면 여기에 도구와 실행 환경의 비용까지 더해야 합니다. (OpenAI 모델 가격 안내)

그래서 비싼 모델이라고 업무도 반드시 비싸지는 것은 아닙니다. 더 적은 시행착오로 일을 끝낸다면 단가가 높아도 총비용은 낮아질 수 있습니다. OpenAI 역시 Astra가 일부 평가에서 더 적은 출력 토큰으로 더 좋은 결과를 내면서 작업당 추정 비용을 낮췄다고 설명합니다. 우리 고객의 업무에서도 그런지는 직접 확인해야 합니다.

저희가 따져야 할 것은 결국 업무 하나를 제대로 끝내는 데 얼마가 들었는가입니다. 실패한 시도와 재작업까지 포함해서요.

업무 하나의 비용에는 자료 읽기와 실행, 확인, 재시도에 든 비용이 함께 쌓입니다.

UpServe의 한 내부 집계에서는 전체 에이전트의 18%인 Ultra 등급 에이전트가 전체 모델 비용의 63%를 사용했습니다. 그 Ultra 비용 중 90%는 상위 세 에이전트에 집중돼 있었습니다. 한편 업무 개수를 기준으로 보면, 전체 업무의 82%는 Standard 등급 에이전트가 처리했습니다.

업무 한 건의 난이도와 크기는 서로 다릅니다. 이 숫자만으로 어느 등급이 더 효율적이라고 결론 내릴 수는 없습니다. 다만 어디를 자세히 들여다봐야 하는지는 알려줍니다. 비용이 집중된 에이전트들은 어떤 일을 했고, 그 비용만큼 전체 업무에 기여했을까.

저희가 생각하는 역할 분담도 이 질문에서 시작합니다.

업무의 방향을 정하거나, 서로 맞지 않는 자료를 해석하거나, 예외 상황에서 다음 행동을 결정할 때는 높은 판단 능력이 필요할 수 있습니다. 여기서 판단이 잘못되면 뒤따르는 실행도 함께 잘못됩니다. 그런 자리에 더 강력한 모델을 쓰는 것은 충분히 가치 있는 선택입니다.

반대로 기준이 정해진 자료를 모으고 정리하는 일까지 언제나 같은 수준의 판단을 요구하지는 않습니다. 각 업무에 필요한 능력을 확인하고, 그에 맞는 에이전트가 맡게 할 수 있습니다.

가령 하나의 팀이 자료를 모으고 보고서를 만든다고 생각해봅시다. 정해진 기준에 따라 자료를 수집하는 역할과, 서로 모순되는 내용을 검토해 결론을 내리는 역할은 다릅니다. 어려운 판단을 맡은 에이전트가 좋은 기준을 세워주면, 다른 에이전트들이 이미 한 일을 버리거나 같은 일을 다시 하는 횟수를 줄일 수 있습니다.

자료 수집과 검토, 보고서 작성을 나눠 맡는 가상 팀. 결과를 주고받고 조율하는 일도 필요합니다.

고성능 모델에 기대하는 가치는 이런 데 있습니다. 그 에이전트 하나의 결과뿐 아니라, 함께 일하는 팀이 제대로 끝내는 데 기여하는 것입니다.

다만 역할을 나눴다는 이유만으로 비용이 줄어들지는 않습니다. 서로에게 설명하고 결과를 넘기는 데도 비용이 들고, 담당이 겹치면 일을 두 번 할 수도 있습니다. 복잡하지 않은 일이라면 한 에이전트가 끝까지 처리하는 편이 나을 수도 있습니다. 팀의 구성이 도움이 됐는지는 결과와 전체 비용을 함께 봐야 합니다.

이런 고민을 하다 보면 모델을 고르는 일이 서비스를 설계하는 일과 이어집니다. 무엇을 한 업무로 볼 것인지, 언제 완료됐다고 할 것인지, 어떤 판단에 더 많은 비용을 쓸 것인지가 모두 연결돼 있기 때문입니다.

저희는 더 똑똑한 모델이 나오는 것을 반깁니다. 지금까지 맡기기 어려웠던 일을 시도할 수 있기 때문입니다. 동시에 그 지능이 실제 업무의 어느 자리에 있어야 하는지도 계속 찾아야 합니다.

고객이 오늘 맡긴 일을 내일도 맡길 수 있어야 합니다. 필요한 결과를 얻고, 감당할 수 있는 비용으로 계속 사용할 수 있어야 합니다. UpServe가 새 모델을 테스트할 때 한 달의 업무를 함께 생각하는 이유입니다.