OpenAI jelaskan teknologi suara AI latensi rendah skala global
Judul asli: How OpenAI delivers low-latency voice AI at scale
Mengapa Ini Penting
Menunjukkan kompleksitas teknis untuk menghadirkan AI suara real-time skala global
OpenAI merilis penjelasan teknis arsitektur WebRTC untuk melayani lebih dari 900 juta pengguna aktif mingguan ChatGPT voice dengan latensi rendah. Tim mengembangkan arsitektur split relay plus transceiver untuk mengatasi kendala infrastruktur skala besar.
OpenAI menghadapi tiga tantangan utama dalam menyediakan AI suara real-time: jangkauan global untuk 900+ juta pengguna aktif mingguan, koneksi cepat saat sesi dimulai, dan round-trip time media yang rendah dan stabil. Tim merancang ulang stack WebRTC dengan arsitektur split relay plus transceiver untuk mengatasi masalah one-port-per-session yang tidak cocok dengan infrastruktur OpenAI, sesi ICE dan DTLS yang memerlukan kepemilikan stabil, dan routing global dengan latensi first-hop rendah. Solusi ini mempertahankan perilaku WebRTC standar untuk klien sambil mengubah routing paket internal. OpenAI memanfaatkan kontribusi Justin Uberti (arsitek asli WebRTC) dan Sean DuBois (creator Pion) yang kini bergabung sebagai kolega di perusahaan.