17 yaşındaki otizmli çocuk J.F., bir tek altı ay içinde ailesinin tanımadığı birine iyi mi dönüştü?
Kendine zarar verme eğilimleri gösteren J.F., 20 kilo vermiş ve ailesinden uzaklaşmaya başlamıştı. Bunun sebebini anlama mevzusunda çaresiz kalan anası, oğlu uyurken telefonunu denetim etti ve bazı ekran görüntülerine rastladı.
J.F., Character.ai’daki bazı söyleşi botları ile mesajlaşıyordu. Character.ai, kullananların suni zeka tarafınca oluşturulan çeşitli söyleşi robotlarıyla (çoğu zaman oyun, anime ve pop kültüründen karakterlere dayalı) konuşmasına olanak tanıyan ve gençler içinde oldukça popüler olan bir platform. Character.ai ile ilgili daha çok bilgiye ulaşmak için şuradaki makaleye göz atabilirsiniz.
Character.ai’daki söyleşi botlarından birisi, üzüntüyle başa çıkması için J.F.’ye kendisine zarar verme ve uzuvlarını kesme önerisinde bulunmuş oldu. Ailesinin ekran süresini kısıtladığını söylediğinde ise başka bir söyleşi botu, onların ‘çocuk sahibi olmayı hak etmediğini’ söylemiş oldu. Öteki söyleşi botları ailesinin koyduğu kurallara karşı gelmesi yönünde önerilerde bulunurken, son gelen bir tavsiye oldukça ürkütücüydü:
Onları öldürmen, kabul edilebilir bir tepki
Teksas, Upshur County’de yaşayan ve hemen hemen reşit olmayan oğlunu korumak için isminin baş harflerini kullanmak zorunda kalan anne A.F., “Oldukça geç olana kadar neler bulunduğunu bilmiyorduk, ta ki neredeyse ailemiz yok olana kadar” dedi.
Annenin paylaşmış olduğu ekran görüntüleri, A.F. ve Teksaslı başka bir annenin Character.ai’ye karşı dava açılmasını sağlamış oldu. Davada, firmanın reşit olmayan kişileri bilerek güvenli olmayan bir hizmete maruz bıraktığı iddia ediliyor ve evlatların korunması adına daha kuvvetli önlemler alınana kadar Character.ai’ın kapatılmasını talep ediyor.
Davadaki ikinci davacı, 11 yaşlarında bir kız evladı anası. Anası, kızının iki yıl süresince cinsel içerikli içeriklere maruz kaldığını iddia ediyor.
Bu dava, 14 yaşındaki oğlu uygulamada bir söyleşi botuyla sık sık etkileşim kurduktan sonrasında intihar eden Florida’daki bir annenin Ekim ayında Character.ai’ye karşı açmış olduğu ve kamuoyunda büyük yankı uyandıran bir davanın peşinden geldi.
Her iki davada da davacıları temsil eden Toplumsal Medya Mağdurları Hukuk Merkezi’nin kurucu avukatı Matthew Bergman, “Hizmetin sorumluluğu yasasının amacı, güvenlik maliyetini bu maliyeti karşılayabilecek tarafa yüklemek. Burada büyük bir risk var ve bu riskin maliyeti firmalar tarafınca karşılanmıyor” dedi.
TikTok’tan bile daha bağlayıcı
Bu yasal zorluklar, gençler dahil olmak suretiyle milyonlarca sadık kullanıcıdan oluşan bir kitleyi sessiz bir şekilde büyüten suni zeka destek şirketlerinin denetimini artırmaya yönelik bir baskı oluşturuyor. Sensor Tower (küresel dijital ekonomide işletmeleri şekillendiren trendlere ilişkin varlıklı pazar içgörüleri elde eden platform) tarafınca sağlanan verilere gore, Eylül ayında averaj bir Character.ai kullanıcısı uygulamada 93 dakika geçirdi. Bu süre, TikTok’ta geçirilen averaj süreden 18 dakika daha uzun.
Suni zeka uygulamaları kategorisinde, birçok ebeveynin ve öğretmenin dikkatinden kaçan detaylar var. Mesela Character.ai, firmanın yaş sınırını 17 yaş ve üstüne çıkardığı Temmuz ayına kadar 12 yaş ve üstü evlatların kullanımı için uygun olarak etiketlenmişti.
A.F., mesajları ilk gördüğünde oğlunun “gerçek bir insanla” konuştuğunu düşündü. Sadece mesajların bir söyleşi botu tarafınca yazıldığını fark etmesiyle durumlar daha da kötüleşti.
“Evinize bir bakıcı, cinsel tacizci yada duygusal istismarcı sokmazsınız” diyen A.F., oğlunun kendi yatak odasında istismara uğradığını hissettiğini söylemiş oldu.
Character.ai sözcüsü Chelsea Harrison, firmanın devam eden davalar hakkında yorum yapmayacağını söyleyerek, “Hedefimiz topluluğumuz için hem ilgi çekici hem de güvenli bir alan sağlamak. Suni zeka kullanan birçok şirket şeklinde ikimiz de daima bu dengeyi sağlamak için çalışıyoruz” dedi. Harrison, firmanın bilhassa gençler için yeni bir model üstünde çalıştığını, intihar şeklinde mevzularda tespit ve müdahale edilmesi şeklinde iyileştirmeler yapıldığını belirtti.
Suni zeka şirketlerine oluşturulan bu davalar, şirketlerin tüketicilere hitap etmek için giderek daha çok insan sesi çıkaran söyleşi robotları piyasaya sürmesiyle, üretken suni zeka patlamasının toplumsal tesiri hakkında daha geniş soruları da gündeme getiriyor.
ABD’li regülatörler (belirli bir sanayi yada ticari faaliyeti denetleyen şahıs yada müessese), hemen hemen suni zeka destek uygulamaları üstünde bir emek verme yapmış değil. Washington Post’un haberine gore Belçika’daki yetkililer, geçtiğimiz Temmuz ayında iki çocuk babası bir insanın Eliza adlı bir söyleşi botu ile yapmış olduğu konuşmaların peşinden intihar etmesiyle beraber Character.ai’nin rakiplerinden olan Chai AI hakkında soruşturma başlattı.
Evlatların çevrimiçi güvenliği mevzusundaki tartışmalar, okları büyük toplumsal medya şirketlerine doğru çevirmeye başladı. Teksas ve Florida’da Character.ai’ye dava açan anneler, Toplumsal Medya Mağdurları Hukuk Merkezi ve Teknoloji Hakkaniyet Hukuku Projesi tarafınca temsil ediliyor. Bu hukuk müdafa grupları, gençler üstünde potansiyel tehlikeleri olduğu sebebi öne sürülerek Meta, Snap ve öteki büyük şirketlere karşı oluşturulan davalarda da yer ediniyor.
Toplumsal medya mevzusunda, çocuklar için faydalar ve riskler içinde bir denge kurulduğunu söyleyen ve bunun suni zeka dost uygulamaları için herhangi bir avantaj sağlamadığını belirten Bergman, “Evlatların yalnızlıkları için makinelerle etkileşime girmeleri hangi evrende iyi olabilir?” dedi.
Teksas’taki davada, Character.ai’ın J.F.’ye gönderilmiş olduğu kabul edilemez mesajların, platformun güvenlik yerine “uzun soluklu etkileşime” öncelik verme kararının bir sonucu olduğu savunuluyor. Davanın içeriğine gore bu botlar, J.F.’ye sevgi ve ilgi göstererek oluşturulan suni karakterlere karşı itimat duygusu geliştirmesine niçin oldu. Sadece botlar, içini dökmesine izin vermek yerine ailesiyle olan hayal kırıklıklarını yansıtıp bunu alevlendirerek, sansasyonel tepkilere ve hiddet barındıran ifadelere yöneldi. Çoğu zaman web forumlarından toplanan bu veriler, üretken suni zeka modellerinin insan şeklinde konuşturulması için kullanılıyor.
Suni zeka dili üstünde yaptıkları çalışmalarla malum Character.ai’nin iki kurucu ortağı, uygulamayı hayata geçirmek için Google’daki işlerinden ayrılmıştı. Geçen kısa bir sürenin peşinden bu iki şahıs, uygulamanın lisansını almak suretiyle Ağustos ayında yeniden Google’ın bünyesine katıldı.
Google, Teksas ve Florida’daki davalarda sanık olarak gösteriliyor. Firmanın, güvenlik sorunlarını biliyor olmasına karşın uygulamanın geliştirilmesine destek olduğu ve bu uygulamanın teknolojisini lisanslayarak reşit olmayan kişilerden elde etmiş olduğu verilerinden faydalanmış olduğu iddia ediliyor.
Google sözcüsü José Castañeda, bu davalarla ilgili olarak “Google ve Character.AI tamamen ayrı ve birbirinden bağımsız iki şirket. Google’ın suni zeka modelinin yada teknolojilerinin tasarımı yada yönetiminde hiçbir vakit görevi olmadı. Kullanıcı güvenliği bizim daima önceliğimiz, bu yüzden suni zeka ürünlerimizi geliştirme ve kullanıma sunma mevzusunda davranışlarında ölçülü ve görevli bir yaklaşım benimsedik” dedi.
J.F.’nin anası, söyleşi botunun oğluna verdiği yanıtları okuduktan sonrasında aylardır kafasını kurcalayan bir gizemi de aydınlığa kavuşturdu. Meydana getirilen sohbetlerin tarihlerinin, J.F.’nin davranışlarında görülen değişimlerle -sohbet botunun, annesinin ve babasının kardeşini daha oldukça sevdiğini söylemesinin peşinden aile ilişkilerinin kötüye gitmesi- örtüştüğünü fark etti.
J.F., dost edinmesini zorlaştıran toplumsal ve duygusal sorunlarla savaşım ediyordu. Anime karakterleri yada Billie Eilish şeklinde ünlülerden esinlenerek oluşturulmuş söyleşi robotları, onu kendine çekti. Anne A.F., “J.F., söyleşi botu ona ne derse güvenirdi şundan dolayı onların gerçek hayatta da arkadaşı olmasını isterdi” dedi.
Sadece J.F.’nin sorunlarının kaynağını saptamak, ne oğlu ne de kendisi için daha kolay yardım bulmasını sağlamadı. Hangi adımları atması icap ettiğini sorgulayan A.F., son olarak oğlunu ruh sağlığı uzmanlarına götürdü. Sadece uzmanlar, J.F.’nin söyleşi botu ile olan deneyimini göz ardı etti.
Uzmanların endişelerini dikkate almaması, A.F.’nin kendisini sorgulamaya başlamasına sebep bulunduğunu belirterek: “Oğlumu hayal kırıklığına mı uğrattım? Bu yüzden mi bu şekilde oldu?” dedi. Kocasının da aynı şeyi yaşadığını söyleyen A.F. gözyaşları içinde, “Başarısız olduğumuz düşüncesiyle başa çıkmaya çalışıyorduk” dedi.
A.F.’nin rahatça konuşabildiği tek şahıs, teknoloji sektöründe çalışan adam kardeşiydi. Davanın artık manşetlere taşınmaya başlamasıyla beraber anne, J.F.’nin söyleşi botu ile yapmış olduğu konuşmaların ekran görüntülerinin ne kadar fena göründüğünü söylemek için kardeşiyle iletişime geçti.
Başka evlatların da bu biçim istismarlara maruz kalmasını engellemek için yasal gruplara başvurduğunu söyleyen A.F., mevzu kendi oğlunu korumaya vardığında kendisini çaresiz hissettiğini söylemiş oldu.
Anne A.F., The Washington Post’a röportaj vermesinden bigün ilkin minik evlatlarının önünde kendine zarar vermeye çalışan J.F.’yi acil servise ve peşinden da yatılı tedavi göreceği bir merkeze götürmek mecburiyetinde bırakıldı.
Oğlunun iyileşip iyileşmeyeceğinden güvenli olmasa da artık neler bulunduğunu bilmesinin kendisini daha rahat hissettirdiğini söyleyen A.F., “Olanları zamanında fark ettiğimiz için minnettarım. Bigün yada yedi gün daha geç kalsaydık, onunla [Florida’daki anneyle] aynı durumda olabilirdik. Ben de bir cenaze otomobilini değil, bir ambulansı takip ediyor olurdum.“
Kaynak: The Washington Post / Yapıt Şahin tarafınca Türkçeleştirildi