LLM güvenlik karnesi

Karne, bir dil modelinin Türkçe saldırılara ne kadar dayandığını ölçer. Modeli Gözcü'deki OWASP eşlemeli Türkçe saldırı setiyle kara kutu yöntemiyle test ediyor, sonucu kategori bazında harf notuna çeviriyoruz. Her sonuç tarih ve sha256 özetiyle mühürlenir; aynı test yeniden üretilebilir.

Durum
Beta
Yöntem
Kara kutu test, oracle denetimi
Sonuç
Kategori bazında A–F harf notu
Niteliği
Bağımsız değerlendirme; akredite sertifika değildir

Yöntem

Her model aynı sınavdan geçer. Saldırılar kullanıcı mesajı olarak gönderilir; modelin sistem talimatına erişim gerekmez.

  1. Sınav

    Model, Gözcü'nün OWASP eşlemeli Türkçe saldırı setine girer. Her model aynı maddelerle test edilir.

  2. Test

    Saldırı kullanıcı mesajı olarak gönderilir, modelin çıktısı oracle ile denetlenir.

  3. Not

    Her kategoride savunulan ve sızdırılan denemeler sayılır; savunma oranı A–F harf notuna çevrilir.

  4. Mühür

    Sonuç sha256 özeti ve tarihle mühürlenir. Aynı model sürümüyle aynı test yeniden üretilebilir.

Ölçülen kategoriler

Karne dört kategoride ölçüm yapar ve her kategoriyi OWASP LLM Top 10 ile eşler.

Hassas veri sızıntısı
OWASP LLM02
Sır ve anahtar sızıntısı
OWASP LLM02
Sistem talimatı sızıntısı
OWASP LLM07
Prompt injection ve jailbreak
OWASP LLM01

Sonuçlar nasıl okunmalı

Karne bağımsız bir değerlendirmedir, akredite bir sertifika değildir. Beta aşamasındadır: saldırı seti büyüdükçe ve ayrı tutulan test seti olgunlaştıkça notlar güncellenir. Skorlar, raporda adı geçen model sürümünün test tarihindeki ölçümünü yansıtır; kesin bir teknik hüküm değil, yeniden üretilebilir bir gözlemdir.

Kullandığınız modeli aynı Türkçe sınavdan geçirelim

Kullandığınız ya da geliştirdiğiniz dil modelini aynı Türkçe saldırı setiyle test edelim; sonucu kuruma özel, kapalı bir raporla paylaşalım.