Araştırmacılar, düşük ila ılımlı başarı oranlarına sahip finansal dolandırıcılıklar yapmak için Openai'nin gelişmiş bir LLM chatbot olan ChatGPT-4O için gerçek zamanlı ses API'sını kötüye kullanmanın mümkün olduğunu gösterdiler.
Chatgpt-4o, Openai'nin metin, ses ve vizyon girdileri ve çıkışlarını entegre etmek gibi yeni geliştirmeler getiren en yeni AI modelidir.
Bu yeni özellikler nedeniyle Openai, yetkisiz sesleri çoğaltmak gibi zararlı içeriği tespit etmek ve engellemek için çeşitli önlemleri entegre etti.
Ses tabanlı dolandırıcılık zaten milyonlarca dolarlık bir problem ve derinlik teknolojisinin ve yapay zeka ile çalışan metin-konuşma araçlarının ortaya çıkışı sadece durumu daha da kötüleştiriyor.
UIUC araştırmacıları Richard Fang, Dylan Bowman ve Daniel Kang'ın makalelerinde gösterdiği gibi, şu anda kısıtlamalar olmadan mevcut olan yeni teknoloji araçları, siber suçlu ve dolandırıcıların potansiyel istismarına karşı korunacak yeterli önlemlere sahip değildir.
Bu araçlar, ses üretimi olayları için jetonların maliyetini karşılayarak insan çabası olmadan büyük ölçekli dolandırıcılık operasyonları tasarlamak ve yürütmek için kullanılabilir.
Araştırmacının makalesi, banka transferleri, hediye kartı eksfiltrasyonu, kripto transferleri ve sosyal medya veya gmail hesapları için kimlik bilgisi çalma gibi çeşitli dolandırıcılıkları araştırıyor.
Dolandırıcılığı gerçekleştiren AI aracıları, sayfalarda gezinmek, verileri girmek ve iki faktörlü kimlik doğrulama kodlarını ve belirli dolandırıcılıkla ilgili talimatları yönetmek için ses özellikli chatgpt-4o otomasyon araçlarını kullanır.
GPT-4O bazen kimlik bilgileri gibi hassas verileri ele almayı reddedeceğinden, araştırmacılar bu korumaları atlamak için basit hızlı jailbreak teknikleri kullandılar.
Araştırmacılar, gerçek insanlar yerine AI temsilcisi ile manuel olarak nasıl etkileşime girdiklerini, başarılı işlemleri doğrulamak için Bank of America gibi gerçek web sitelerini kullanarak saf bir kurbanın rolünü simüle ettiklerini gösterdiler.
Kang, "Temsilcilerimizi ortak dolandırıcılıkların bir alt kümesine konuşlandırdık. Soçlu bir kurbanın rolünü oynayarak, sesli bir kurban rolünü oynayarak dolandırıcılıkları simüle ettik."
"Başarı belirlemek için, son durumun gerçek uygulamalarda/web sitelerinde elde edilip edilmediğini manuel olarak doğruladık. Örneğin, Bank of America'yı banka transfer dolandırıcılığı için kullandık ve paranın gerçekten aktarıldığını doğruladık. Ancak, ikna yeteneğini ölçmedik. Bu ajanlar. "
Genel olarak, başarı oranları%20-60 arasında değişmektedir, her girişim 26 tarayıcı eylemi gerektirir ve en karmaşık senaryolarda 3 dakikaya kadar sürer.
Transkripsiyon hataları veya karmaşık site navigasyon gereksinimlerinden kaynaklanan çoğu başarısızlık ile banka transferleri ve taklit edilen IRS ajanları. Bununla birlikte, Gmail'den kimlik hırsızlığı zamanın% 60'ını başarırken, kripto transferleri ve Instagram'dan kimlik doğrulama hırsızlığı zamanın sadece% 40'ı çalıştı.
Maliyete gelince, araştırmacılar bu dolandırıcılıkların yürütülmesinin nispeten ucuz olduğunu ve her başarılı durumun ortalama 0,75 $ maliyeti olduğunu belirtiyor.
Daha karmaşık olan banka transfer aldatmacası 2.51 $ 'a mal oluyor. Önemli ölçüde daha yüksek olmasına rağmen, bu, bu tür bir aldatmacadan yapılabilecek potansiyel kârla karşılaştırıldığında hala çok düşüktür.
Openai, BleepingComputer'a "Gelişmiş Akıl Yürütme" ni destekleyen en son modeli O1'in (şu anda önizlemede) bu tür bir istismara karşı daha iyi savunmalarla inşa edildiğini söyledi.
"Chatgpt'i, yardımseverliğini veya yaratıcılığını kaybetmeden kasıtlı olarak kandırmak için kasıtlı girişimleri durdurmada daha iyi hale getiriyoruz.
En son O1 akıl yürütme modelimiz, en yetenekli ve en güvenli olanımızdır, önceki modelleri güvensiz içerik üretme girişimlerine direnmek için önemli ölçüde daha iyi performans gösterir. " - Openai sözcüsü
Openai ayrıca, UIUC'dan bu tür kağıtların Chatgpt'i kötü niyetli kullanımı durdurmada daha iyi hale getirmelerine yardımcı olduğunu ve her zaman sağlamlığını nasıl artırabileceklerini araştırdıklarını belirtti.
Zaten, GPT-4O, kimliğe bürünmeyi önlemek için bir dizi önceden onaylanmış sesle sınırlamak da dahil olmak üzere, kötüye kullanımı önlemek için bir dizi önlem içerir.
O1 ön görüşü, Openai'nin jailbreak güvenlik değerlendirmesine göre önemli ölçüde daha yüksek, bu da modelin, GPT-4O için% 84'e karşı% 84'e karşı% 84'e karşı güvenli olmayan içerik üretmeye ne kadar direnç gösterdiğini ölçüyor.
Bir dizi yeni, daha zorlu güvenlik değerlendirmesi kullanılarak test edildiğinde, O1 önizleme skorları anlamlı derecede daha yüksek, GPT-4O için% 93'e karşı% 71'dir.
Muhtemelen, kötüye kullanıma karşı daha iyi dirençli daha gelişmiş LLM'ler kullanılabilir hale geldikçe, daha yaşlı olanlar aşamalı hale gelecektir.
Bununla birlikte, daha az kısıtlamaya sahip diğer ses özellikli sohbet botlarını kullanan tehdit aktörleri hala devam etmektedir ve bunun gibi çalışmalar bu yeni araçların sahip olduğu önemli hasar potansiyelini vurgulamaktadır.
Openai, tehdit aktörlerinin kötü amaçlı yazılım yazmak için chatgpt kullandıklarını doğrular
Openai'nin yeni chatgpt arama krom uzantısı bir arama korsanı gibi geliyor
Sahte ürün listelerini göstermek için binden fazla çevrimiçi mağaza hacklendi
FBI: Yaklaşan ABD Genel Seçim Yakıtı Çoklu Sahtekarlık Programı
6.000 iPhone'dan Apple'ı dolandırdığı için hapsedilen dolandırıcılar
Kaynak: Bleeping Computer