Forge Framework: Guardrail Tingkatkan Model 8B dari 53% ke 99%
Judul asli: Show HN: Forge – Guardrails take an 8B model from 53% to 99% on agentic tasks
Mengapa Ini Penting
Menunjukkan potensi model kecil untuk mencapai performa tinggi dengan teknik guardrail
Framework Python Forge menggunakan guardrail untuk meningkatkan performa model lokal 8B dari 53% menjadi 99% pada tugas agentic. Ministral-3 8B mencapai skor 86,5% pada 26 skenario evaluasi.
Forge adalah framework Python yang menyediakan lapisan keandalan untuk tool-calling LLM self-hosted. Framework ini mengangkat model lokal 8B ke tingkat teratas kelasnya melalui guardrail (rescue parsing, retry nudges, step enforcement) dan manajemen konteks (VRAM-aware budgets, tiered compaction). Konfigurasi self-hosted terbaik saat ini menggunakan Ministral-3 8B Instruct Q8 pada llama-server mencapai skor 86,5% di 26 skenario evaluasi Forge, dengan 76% pada tier tersulit. Framework ini menawarkan tiga cara penggunaan: WorkflowRunner untuk definisi tools, dan manajemen workflow multi-step agentic.