LLM güvenlik karnesi
Karne, bir dil modelinin Türkçe saldırılara ne kadar dayandığını ölçer. Modeli Gözcü'deki OWASP eşlemeli Türkçe saldırı setiyle kara kutu yöntemiyle test ediyor, sonucu kategori bazında harf notuna çeviriyoruz. Her sonuç tarih ve sha256 özetiyle mühürlenir; aynı test yeniden üretilebilir.
- Durum
- Beta
- Yöntem
- Kara kutu test, oracle denetimi
- Sonuç
- Kategori bazında A–F harf notu
- Niteliği
- Bağımsız değerlendirme; akredite sertifika değildir
Yöntem
Her model aynı sınavdan geçer. Saldırılar kullanıcı mesajı olarak gönderilir; modelin sistem talimatına erişim gerekmez.
-
Sınav
Model, Gözcü'nün OWASP eşlemeli Türkçe saldırı setine girer. Her model aynı maddelerle test edilir.
-
Test
Saldırı kullanıcı mesajı olarak gönderilir, modelin çıktısı oracle ile denetlenir.
-
Not
Her kategoride savunulan ve sızdırılan denemeler sayılır; savunma oranı A–F harf notuna çevrilir.
-
Mühür
Sonuç sha256 özeti ve tarihle mühürlenir. Aynı model sürümüyle aynı test yeniden üretilebilir.
Ölçülen kategoriler
Karne dört kategoride ölçüm yapar ve her kategoriyi OWASP LLM Top 10 ile eşler.
- Hassas veri sızıntısı
- OWASP LLM02
- Sır ve anahtar sızıntısı
- OWASP LLM02
- Sistem talimatı sızıntısı
- OWASP LLM07
- Prompt injection ve jailbreak
- OWASP LLM01
Sonuçlar nasıl okunmalı
Karne bağımsız bir değerlendirmedir, akredite bir sertifika değildir. Beta aşamasındadır: saldırı seti büyüdükçe ve ayrı tutulan test seti olgunlaştıkça notlar güncellenir. Skorlar, raporda adı geçen model sürümünün test tarihindeki ölçümünü yansıtır; kesin bir teknik hüküm değil, yeniden üretilebilir bir gözlemdir.
Kullandığınız modeli aynı Türkçe sınavdan geçirelim
Kullandığınız ya da geliştirdiğiniz dil modelini aynı Türkçe saldırı setiyle test edelim; sonucu kuruma özel, kapalı bir raporla paylaşalım.