Arsitektur Proxy Hyper Tersemat
Setiap kali CACode aktif, sistem menjalankan proxy HTTP lokal berbasis Hyper di http://127.0.0.1:8000.
Fitur Utama Proxy Lokal:
- Pencegatan Aliran Stream: Meneruskan respon Server-Sent Events (SSE) langsung ke terminal secara real-time.
- Meteran Token Akurat: Menghitung token prompt dan completion dari setiap respon header API.
- Akselerator Prompt Cache: Memanfaatkan fitur prompt caching pada Claude dan DeepSeek untuk menghemat biaya input hingga 90%.
- Pemulihan Jaringan Otomatis: Mengatasi limitasi HTTP 429 dan koneksi terputus dengan backoff eksponensial.