LLM Gateway Admission Control (3) — Spend Limits 2026-09-08
Team과 API Key의 일·월 지출 한도를 확인하고, 추정 사용료의 즉시 반영과 Worker의 정확한 정산으로 사용료 Cache를 관리합니다.
Team과 API Key의 일·월 지출 한도를 확인하고, 추정 사용료의 즉시 반영과 Worker의 정확한 정산으로 사용료 Cache를 관리합니다.
정산된 Account Balance와 미정산 rough debit으로 Redis에 Account Balance Cache를 만들고, 정산 주기 사이의 추가 사용을 최소화합니다.
LLM Gateway가 API Key로 Team을 식별하고, Team Tier와 Redis GCRA로 RPM·TPM을 제어하는 Rate Limits 설계를 정리합니다.
Partner Office와 RedeemCode 사이의 상품권 발주·취소 흐름을 Kafka event로 전환하고, value 전체 암호화와 취소·멱등성 계약까지 살펴봅니다.