AI 코딩 비용 1.9배 차이: 프레임워크를 바꾸기 전에 확인할 분모

같은 포켓몬 웹앱을 만들 때 Hono+htmx의 비용 중앙값은 $2.67, Angular는 $4.97였습니다. 약 1.9배라는 차이는 흥미롭지만, 기존 서비스를 재작성할 근거로 삼으려면 먼저 비용의 단위와 성공의 분모를 맞춰야 합니다.

Nolan Lawson이 2026년 10월 28일 공개한 실험은 Claude Opus 5.5의 high effort로 12개 스택에서 같은 앱을 생성합니다. 11월 1일 브리핑에서 다시 주목한 글이며, 이 글에서 벤치마크를 재실행하지는 않았습니다.

중앙값의 비율은 개별 작업의 예측값이 아니다

원문의 비용 표에서 네 행을 발췌하고 마지막 열을 계산했습니다. 비용은 각 5회 기준입니다. 저자가 실제로 작업마다 이 금액을 결제했다는 뜻은 아닙니다. Max 구독으로 실행했고 Claude Code가 표시한 API 환산액을 보고했습니다.

다음 코드는 Node.js 18 이상에서 외부 패키지 없이 실행할 수 있는 재계산입니다. 파일로 저장해 node ratios.mjs로 실행합니다. 입력은 위 표이며 API를 호출하지 않습니다. 로컬 실행 결과는 아래와 같습니다.

const usd = { honoHtmx: 2.67, astro: 2.76, next: 3.14, angular: 4.97 };
console.log('Angular/Hono:', (usd.angular / usd.honoHtmx).toFixed(2));
console.log('Next-Hono USD:', (usd.next - usd.honoHtmx).toFixed(2));
console.log('Angular-Hono USD:', (usd.angular - usd.honoHtmx).toFixed(2));

Angular/Hono: 1.86
Next-Hono USD: 0.47
Angular-Hono USD: 2.30

이 계산은 공개된 중앙값끼리의 비교입니다. 같은 난수·같은 실패 조건으로 짝지은 실행의 비율이나 통계적 유의성을 계산한 것이 아닙니다. 1.86배를 모든 기능 개발의 예상 배율로 적용하면 안 됩니다.

비용에는 5회, 일부 품질에는 3회

Angular는 두 실행에서 측정 가능한 앱을 만들지 못했습니다. 원문은 비용에 5회를 포함하고 일부 품질 지표에는 성공한 3회만 사용합니다. 따라서 품질 표가 좋아 보여도 실패 비용이 사라진 것은 아닙니다.

팀 평가에서는 성공한 실행만 모은 평균 비용보다 전체 시도 비용의 합 / 승인된 결과 수를 함께 기록하는 편이 유용합니다. 다만 위의 $4.97은 중앙값이라서 여기에 5를 곱한 뒤 3으로 나눠 실제 성공당 비용이라고 부를 수 없습니다. 그 계산에는 실행별 비용과 성공 여부가 필요합니다.

또한 최초 생성과 유지보수는 다른 작업입니다. 코드가 짧으면 에이전트가 읽을 양이 줄 수 있지만, 결제 기능 수정이나 접근성 회귀 수정에서 실제로 얼마나 절약되는지는 이 표가 알려주지 않습니다. 유지보수 절감은 후속 실험의 질문입니다.

프레임워크보다 먼저 고정할 실험 조건

공개 하네스의 프레임워크 정의는 공통 명세와 npm test 통과를 요구하는 프롬프트를 사용합니다. 팀에서 이 방식을 가져온다면 다음 세 묶음을 분리해 기록하세요.

이는 편집부의 평가 설계 제안이며 실행한 비교 실험은 아닙니다. 대시보드를 만든다면 초기 로딩 외에 필터 조합이나 대량 편집도 넣어야 합니다. 콘텐츠 앱에서 유리한 선택이 복잡한 상태를 다루는 앱에도 유리하다고 보장할 수 없습니다.

평가 환경을 복제할 때는 원문의 버전 표까지 고정해야 합니다. 제시된 네 스택은 Hono 4.13.14·htmx 2.0.11, Astro 7.4.2, Next.js 16.4.3·React 19.3.1, Angular 22.2.3입니다. 성능 측정은 2025 Framework 13 노트북·Ubuntu 24.04·CPU 4배 감속·Slow 4G 모바일 조건입니다. 이것은 우리 사이트에서 측정한 성능이 아닙니다.

재작성의 기준은 비율보다 회수 가능한 비용

가령 Next.js에서 Hono+htmx로 바꿀 때 생성 작업마다 $0.47이 절약된다고 가정하면, 가상의 전환 비용 $1,000을 회수하는 데 약 2,128건이 필요합니다. ceil(1000 / 0.47)이라는 단순 시나리오이며, 구독의 실제 절감액도 유지보수 예측도 아닙니다. 전환 후 테스트와 운영 비용은 여기에 포함하지 않았습니다.

새 프로젝트라면 작은 명세로 비교할 가치가 있습니다. 운영 중인 서비스라면 비용 차이보다 먼저 해당 앱의 상호작용과 회귀 위험을 비교해야 합니다. 독립 재현을 확인하지 않은 이 실험에서 가져올 것은 보편적인 우승 스택보다, 선택을 검증 가능한 작업 단위로 바꾸는 방법입니다.

성공을 분모로 삼는 판단은 성공한 작업당 AI 비용과 연결됩니다. 아래 유료 강의는 Claude Code의 검증·제약 있는 개발 흐름을 다루며, 이 벤치마크나 특정 프레임워크의 비용 절감을 보장하지 않습니다.