AI 토큰 사용량, 왜 늘어나고 어떻게 줄일까?
AI 사용량은 무엇을 기준으로 매겨지나요?
일명 토큰, 정확히는 주고받은 글자의 양을 기준으로 매겨집니다.
질문에 넣은 글자와 AI가 돌려준 글자를 합쳐 계산되며,
고급 모델은 출력 단가가 입력보다 몇 배 비쌉니다.
그래서 같은 작업을 시켜도 AI가 자꾸 되묻고,
요약까지 덧붙이는 그 패턴이 그대로 사용량을 매우 잡아먹죠.
그래서 이 사용량을 줄이는 작업을 '토큰 엔지니어링'이라고 부릅니다.
AI가 필요 이상으로 길게 답하지 않도록 형식과 분량을
미리 조정하고 정해주는 일에 가깝죠.
혹시 사용량이 예상보다 빨리 차나요?
그 이유는 간단합니다.
우리가 한 번의 요청으로 작업을 끝내지 않기 때문입니다..ㅎ
원하는 결과가 나올 때까지 세 번, 네 번 되돌리면
결과적으로 사용량을 많이 사용하게 됩니다.
문제는 이걸 쉽게 확인하기 힘들다는 점입니다.
내 요금제의 지출 총액과 추가 결제 안내만 뜨지, 어느 작업이 어디서
몇 번의 반복을 통해 얼마나 사용량을 썼는지는 직관적으로 알려주지 않습니다.
그러니 사용량 창을 들어가면 갑작스럽게 다 찼다는 소식을 마주하게 되는거죠.
보통 사용량이 갑작스럽게 꽉 차는 행동들은 이렇습니다.
지시가 뭉뚱그려져 답변이 길어진다
결과가 마음에 안 들어 계속 반복한다
쉬운 작업에도 계속 비싼 모델을 썼다
애초에 작업량 자체가 늘었다 (신제품 런칭, 소재 물량 증가 등)
어떤 작업을 AI에 맡겨야 하나요?
"AI가 싼가 사람이 싼가"는 답이 나오지 않는 질문입니다.
요금만 놓고 비교하면 사람보다 AI가 압도적으로 싸지만,
재작업과 검수 시간까지 생각하면 사람이 하는 게 더 나을 때가 있습니다.
그러기에 작업 성격으로 갈라두고 판단해야 됩니다.
목표 범위가 정해져 있고 형식이 반복되는 작업은 AI 쪽이 유리하고,
매번 판단이 달라지고 브랜드 톤이 걸린 작업은 사람이 잡는 편이 결국 쌉니다.
판단 항목 | AI 몫으로 두면 싼 작업 | 사람 몫으로 두는 게 싼 작업 |
|---|---|---|
정답의 성격 | 범위가 정해져 있다 | 매번 판단이 달라진다 |
형식 | 같은 틀을 반복한다 | 건마다 다르다 |
오류가 드러나는 시점 | 결과에서 바로 보인다 | 나중에 성과로 드러난다 |
양과 품질 | 양이 많을수록 이득 | 한 번의 정확도가 중요 |
검수 부담 | 훑어보면 끝난다 | 처음부터 다시 쓰게 된다 |
결과를 검수하는 시간이
내가 손으로 하는 시간보다 길다면,
그 작업은 사람 몫입니다.
특히 결과물을 매번 사람이 다시 수정하고 작업을 반복하고 있다면,
그 작업을 AI에 맞게 시키지 않았던 경우입니다.
구분 | 눈에 보이는 비용 | 잘 안 잡히는 비용 |
|---|---|---|
사람 채용 | 급여, 4대보험, 장비 | 채용 기간, 온보딩, 이탈 리스크 |
AI 도구 | 월 구독료, 사용량 요금 | 다시 시킨 횟수, 검수 시간, 톤 맞추는 시간 |
비용을 줄이는 세 가지 방법
아래 세 방법 모두 퀄리티는 유지하며 낭비되는 반복을 줄이는 방식입니다!
방법 | 무엇을 줄이나 | 필요한 준비 | 어떤 팀에 맞나 |
|---|---|---|---|
① 답을 짧게 하게 만든다 | 답변 길이 | 지시 문구 한 줄 | 모든 팀. 오늘 바로 |
② 일 자체를 줄인다 | 작업 단계 수 | 반복 업무 정리 | 업무가 정형화된 팀 |
③ 여러 도구의 무료 한도를 이어 쓴다 | 유료 사용량 | 설치·API 설정 | 다룰 사람이 있는 팀 |
①과 ②는 무엇이 다른가요?
①은 같은 작업에서 답변의 크기를 줄이는 것이고,
②는 작업 자체의 작업 수를 줄이는 것입니다.
"설명 없이 결과만", "이유는 한 줄로" 같은 문장을 지시에 붙이는 게 ①이라면,
카피 10개를 하나씩 따로 요청하는게 아닌 조건을 주고 한 방에 받는 게 ②입니다.
③은 언제 고려하나요?
AI 회사들이 제공하는 무료 한도를 한 곳에 등록해두고,
한도가 소진되면 자동으로 다음 도구로 넘겨 쓰는 방식입니다.
앞의 둘이 '지시 방법'이라면 이건 '설치해서 쓰는 프로그램'이죠!
만약 이것까지 다룰 사람이 없다면 ①②만으로도 충분합니다.
현재 사용하고 있는 AI에게 위 3가지 방법 중 맞는 것을 골라
‘깃허브에서 그에 맞는 스킬을 찾아줘’라고 시키고 설치하면 됩니다!
(모두 오픈소스로 무료 사용 가능!)
자주 묻는 질문
Q. 저렴한 AI 모델로 바꾸면 비용이 해결되나요?
작업에 따라 다릅니다. 단순 정리·분류는 저렴한 모델에서도 큰 차이가 없지만,
브랜드 카피 실험 같이 여러 번 반복해야 하는 작업에서는 비용이 커질 수 있습니다.
모델 등급은 작업별로 나눠 정하는 편이 안전합니다.
Q. 무료 버전만 써도 되나요?
간헐적인 사용이라면 가능합니다. 다만 무료 구간은 한도·처리 속도·이력 저장에
제한이 있어, 매일 반복되는 업무에 붙이면 대기 시간이 오히려 길어질 수 있습니다.
Q. AI 비용을 광고비처럼 월 단위 예산으로 잡아도 되나요?
같은 방식으로 잡되, 광고비와 달리 작업량에 연동된다는 점만 다릅니다.
신제품 런칭처럼 소재를 몰아 만드는 달은 자연스럽게 튀므로,
월 고정값보다 작업량 대비 단가로 보는 편이 판단이 쉽습니다.
Q. 입력과 출력 중 어느 쪽을 줄이는 게 효과가 큰가요?
고급 모델은 대체로 출력 단가가 입력보다 높기 때문에,
지시를 짧게 쓰는 것보다 답변을 짧게 하게 만드는 쪽이 효과가 큽니다.
지시는 오히려 길어지더라도 형식과 분량을 명확히 지정하는 편이
반복을 줄여 총비용을 낮춥니다.
Q. 비용을 줄였는데 결과물 품질이 떨어지면 어떻게 하나요?
품질을 깎아서 줄인 절약은 총비용을 줄이지 못합니다.
검수 시간이 늘면 결국 아낀 만큼 인건비로 되돌아오기 때문입니다.
절약법을 적용한 뒤에는 요금뿐 아니라 검수 시간도 함께 확인해야
실제로 줄었는지 알 수 있습니다.