Tingkat Lanjut & Keamanan

Proxy Hyper Lokal (:8000) & Meteran Token

Proxy streaming Hyper tersemat, prompt caching, pemantau latensi, dan circuit breaker.

Arsitektur Proxy Hyper Tersemat

Setiap kali CACode aktif, sistem menjalankan proxy HTTP lokal berbasis Hyper di http://127.0.0.1:8000.

Fitur Utama Proxy Lokal:

  • Pencegatan Aliran Stream: Meneruskan respon Server-Sent Events (SSE) langsung ke terminal secara real-time.
  • Meteran Token Akurat: Menghitung token prompt dan completion dari setiap respon header API.
  • Akselerator Prompt Cache: Memanfaatkan fitur prompt caching pada Claude dan DeepSeek untuk menghemat biaya input hingga 90%.
  • Pemulihan Jaringan Otomatis: Mengatasi limitasi HTTP 429 dan koneksi terputus dengan backoff eksponensial.