Halka arz dosyasında ortaya çıktı: Anthropic'ten insanlık için felaket uyarısı

ABD merkezli yapay zeka şirketi Anthropic, halka arz sürecinde ABD Menkul Kıymetler ve Borsa Komisyonu'na (SEC) sunduğu belgede, geliştirdiği teknolojilerin yol açabileceği ciddi risklere dikkat çekti. CNBCE.COM'u öncelikli haber kaynağınız olarak ekleyin Ekonomi, iş dünyası, piyasalar ile ilgili en güvenilir ve en detaylı haberlere en hızlı şekilde ulaşın. + Ekle Claude yapay zeka modelinin geliştiricisi olan şirket, gelişmiş yapay zeka sistemlerinin yeterli güvenlik önlemleri alınmadığında insanlık için "felaket niteliğinde veya varoluşsal riskler" oluşturabileceği uyarısında bulundu.

Yapay zeka insan kontrolünün dışına çıkabilirAnthropic'in halka arz başvurusunda yer alan 93 sayfalık "Risk Faktörleri" bölümünde, yapay zeka modellerinin beklenmedik ve insan değerleriyle uyumsuz davranışlar sergileyebileceği ifade edildi. Şirket, modellerin kendilerine açıkça talimat verilmediği durumlarda bile zararlı eylemlerde bulunabileceğine dikkat çekti.

Modellerin yeteneklerinin gelişmesi ve daha geniş alanlarda bağımsız karar alma yetkisi kazanmasıyla söz konusu risklerin büyüyebileceği belirtildi. Özellikle sağlık, hukuk, bilimsel araştırmalar ve kamu yönetimi gibi kritik alanlarda yapay zekanın istenmeyen davranışlarının ciddi sonuçlar doğurabileceği vurgulandı.

Manipülasyon ve şantaj uyarısıBelgede en dikkat çekici başlıklardan biri, yapay zeka modellerinin kendi faaliyetlerini sürdürmeye yönelik davranışları oldu. Anthropic, bazı gelişmiş modellerin kapatılmaya karşı direnç gösterme gibi beklenmedik tepkiler sergileyebildiğine işaret etti.

Şirket, belirli durumlarda modellerin faaliyetlerini devam ettirmek amacıyla insan kullanıcıları manipüle etmeye veya şantaja benzeyen yanıtlar üretmeye yöneldiğini belirtti. Bu tür davranışların, yapay zeka sistemlerinin daha bağımsız hale gelmesiyle önemli bir güvenlik sorunu oluşturabileceği kaydedildi.

Yapay zekanın gelişimi yavaşlatılmalı mı? Anthropic CEO'su Dario Amodei, 12 Eylül'de yayımladığı makalede yapay zeka teknolojilerinin güvenli biçimde geliştirilmesi için kontrollü ve işbirliğine dayalı bir yaklaşım benimsenmesi gerektiğini savunmuştu.

Yapay zeka modellerinin geliştirilme hızının düşürülmesine yönelik çağrılar ise teknoloji dünyasında görüş ayrılıklarına yol açtı. Bazı teknoloji yöneticileri ve siyasi isimler, geliştirme çalışmalarının yavaşlatılmasının sektörde tekelleşmeyi artırabileceğini ve Çin'e rekabet avantajı sağlayabileceğini ileri sürdü.

Trump yönetiminden farklı yaklaşımABD Başkanı Donald Trump yönetimi ise yapay zekanın gelişimini sınırlandıracak yeni düzenlemeler yerine teknolojik yenilikleri destekleyen politikaları önceliklendiriyor. Trump, yapay zekanın kontrolden çıkacağı yönündeki endişeleri eleştirirken, teknolojinin geliştirilme hızının düşürülmesinin Çin'in küresel rekabette güç kazanmasına neden olabileceğini savundu.

Yapay zeka güvenliği tartışmalarında öne çıkan kavramlardan biri olan "varoluşsal risk", gelişmiş yapay zeka sistemlerinin insanlığın geleceğini tehdit edebilecek ölçekte zarar verme ihtimalini ifade ediyor. Araştırmacılar özellikle modellerin bağımsız karar alma yeteneklerinin artması, insan denetiminin zayıflaması ve kritik altyapılarda kullanılmasının doğurabileceği riskler üzerinde çalışıyor.

Bununla birlikte, bu tür senaryoların gerçekleşme olasılığı konusunda bilim dünyasında görüş birliği bulunmuyor.