Selular.ID – F5 dan NVIDIA mengumumkan perluasan kolaborasi untuk meningkatkan efisiensi infrastruktur inferensi kecerdasan buatan (AI) melalui integrasi F5 BIG-IP Next for Kubernetes dengan NVIDIA BlueField-3 DPU.
Inisiatif ini ditujukan untuk mempercepat pemrosesan AI, meningkatkan throughput token, serta menekan biaya operasional dalam pengembangan AI factory, terutama di tengah pergeseran industri menuju model bisnis berbasis layanan AI.
Kolaborasi ini menghadirkan pendekatan baru dalam mengelola beban kerja AI, dengan memanfaatkan telemetri atau data pemantauan sistem secara real time untuk mengoptimalkan penggunaan GPU.
Teknologi ini memungkinkan pengambilan keputusan berbasis kondisi infrastruktur saat itu juga, sehingga proses inferensi—yakni tahap ketika model AI menghasilkan output dari data yang diberikan—dapat berjalan lebih efisien.
Chief Product Officer F5, Kunal Anand, menjelaskan bahwa fokus industri AI kini telah bergeser dari sekadar kapasitas komputasi ke efisiensi ekonomi.
“Infrastruktur AI tidak lagi hanya soal akses terhadap GPU, tetapi bagaimana memaksimalkan output dari setiap akselerator.
Dengan pendekatan ini, produksi token dapat diperlakukan sebagai metrik bisnis yang terukur,” ujarnya dalam pernyataan resmi.
Dalam konteks AI, token merujuk pada unit data yang diproses atau dihasilkan model, seperti kata atau fragmen teks.
Kecepatan dan volume produksi token menjadi indikator penting yang memengaruhi performa aplikasi, pengalaman pengguna, serta efisiensi biaya.
Oleh karena itu, peningkatan throughput token dan penurunan latensi menjadi fokus utama dalam pengembangan infrastruktur AI modern.
Integrasi antara BIG-IP Next for Kubernetes dan NVIDIA BlueField-3 DPU memungkinkan pengalihan sejumlah fungsi komputasi, seperti networking, enkripsi, dan manajemen trafik, dari CPU ke DPU (data processing unit).
Pendekatan ini membebaskan sumber daya CPU dan GPU agar dapat difokuskan pada proses inferensi utama, sehingga meningkatkan utilisasi dan efisiensi sistem secara keseluruhan.
Berdasarkan pengujian yang divalidasi oleh The Tolly Group, solusi ini mampu meningkatkan token throughput hingga 40%, mempercepat time to first token (TTFT)—waktu yang dibutuhkan untuk menghasilkan output pertama—hingga 61%, serta mengurangi latensi permintaan hingga 34%.
Hasil ini menunjukkan peningkatan kinerja yang signifikan tanpa memerlukan perubahan pada model AI yang digunakan.
Senior Vice President Networking NVIDIA, Kevin Deierling, menyatakan bahwa kombinasi teknologi kedua perusahaan membuka peluang optimalisasi ekonomi AI.
“Integrasi infrastruktur komputasi terakselerasi NVIDIA dengan platform delivery dan keamanan aplikasi dari F5 memungkinkan inferensi AI yang lebih skalabel dan efisien tanpa perlu modifikasi model,” jelasnya.
Selain peningkatan performa, solusi ini juga dirancang untuk mendukung kebutuhan AI berbasis agen (agentic AI), yaitu sistem yang mampu menjalankan tugas secara otonom dan berkelanjutan dengan memahami konteks.
Untuk itu, sistem dilengkapi kemampuan routing berbasis inferensi, integrasi dengan NVIDIA DOCA Platform Framework, serta dukungan jaringan EVPN-VXLAN dengan virtual routing and forwarding (VRF) untuk memastikan keamanan multi-tenant.
Pendekatan multi-tenant memungkinkan beberapa pengguna atau organisasi berbagi infrastruktur GPU yang sama secara aman, tanpa mengorbankan performa dan isolasi sistem.
Hal ini menjadi penting bagi penyedia layanan GPU-as-a-Service dan NeoCloud yang ingin mengoptimalkan penggunaan sumber daya sekaligus menjaga kualitas layanan.
F5 juga memposisikan BIG-IP Next for Kubernetes sebagai control plane dalam ekosistem AI factory, yaitu lapisan yang mengatur alur trafik, konsumsi sumber daya, dan keamanan sistem secara terpusat.
Dengan pendekatan ini, perusahaan dapat menghindari overprovisioning atau penyediaan kapasitas berlebih yang tidak efisien, serta meningkatkan nilai ekonomi dari setiap GPU yang digunakan.
Kolaborasi antara F5 dan NVIDIA mencerminkan perubahan arah industri AI menuju efisiensi operasional dan monetisasi layanan.
Dengan memanfaatkan telemetri, akselerasi DPU, serta manajemen trafik berbasis kecerdasan, perusahaan berupaya menghadirkan infrastruktur yang tidak hanya kuat secara teknis, tetapi juga optimal secara ekonomi dalam mendukung pertumbuhan layanan AI di masa depan.
Baca Juga: Red Hat AI 3 Hadirkan Inferensi Terdistribusi untuk Beban Kerja Produksi
