INT21'in Yapay Zeka Ajanları Bir Saatte Çıkarım Motoru Geliştirdi

Türkiye merkezli teknoloji şirketi INT21, 'Kendini Geliştiren Altyapı' vizyonu doğrultusunda yapay zeka ajanlarını kullanarak Fish Audio’nun Drama 3 modeli için yeni bir çıkarım motoru tasarladı. Şirketin bulut tabanlı SwarmOS platformu üzerinde görevlendirilen binlerce otonom ajan, halka açık modele erişim sağlayarak çok sayıda kod varyasyonu üretti.

Bu ajanlar, oluşturdukları kodları donanım üzerinde eş zamanlı test ederek en yüksek performansı sergileyen parçaları birleştirdi ve süreci toplamda 60 dakikada tamamladı. Sistemin işleyişinde mühendisler, donanım kısıtlarını ve hedef performans kriterlerini belirlemekle sınırlı kalırken, yazılım katmanının oluşturulması tamamen ajanlara bırakıldı.

İnsan eliyle haftalar sürebilecek optimizasyon çalışmalarını bir saate sığdıran bu 'Çıkarım Motoru Fabrikası', modelleri yeniden eğitmek yerine onları çalıştıran yazılımı optimize etmeye odaklanıyor. SwarmOS, bugüne kadar 20’den fazla çıkarım motoru geliştirerek elde ettiği birikimi, yeni görevlerde bir temel olarak kullanıyor.

Teknik altyapıda Python yerine bellek güvenliğiyle öne çıkan Rust dilinin tercih edilmesi, projenin başarısında kilit rol oynadı. Python'ın neden olduğu işlemci yükünü ve süreçler arası iletişim karmaşasını ortadan kaldıran Rust, yazılım mimarisini sadeleştirerek operasyonel güvenilirliği artırdı.

Bu sayede ek zamanlayıcı katmanlarına duyulan ihtiyaç minimize edildi. Performans testleri, iki adet Nvidia B200 grafik işlem birimi (GPU) üzerinde gerçekleştirildi. Yeni geliştirilen Rust tabanlı motor, mevcut SGLang-Omni altyapısıyla kıyaslandığında ilk ses üretim süresini 37-38 milisaniyelerden 15-23 milisaniye aralığına kadar düşürdü.

Veri aktarım hızında 1,63 kata varan bir iyileşme kaydedilirken, konuşma saniyesi başına harcanan GPU süresi yüzde 39’a varan oranlarda azaldı. Üretilen ses miktarında yüzde 63’lük bir artış gözlemlenmesi, çıkarım yazılımındaki optimizasyonların donanım kapasitesini maksimize etme potansiyelini kanıtladı.

INT21, bu sonuçların mevcut hesaplama altyapılarından daha verimli çıktı alabilmek adına yazılımın kritik bir kaldıraç olduğunu vurguluyor. Şirket, geliştirdiği bu otonom süreçleri gelecekteki farklı model mimarileri için de kullanmaya devam etmeyi planlıyor.