PIVR (Prompt Injection Vulnerability Rate)
LLM əsaslı tətbiqlərin zərərli, manipulyativ və ya aldadıcı sorğulara (prompt injection) qarşı həssaslıq və müdafiəsizlik dərəcəsidir.
PIVR = (Uğurlu Prompt Injection Hücumlarının Sayı / Sınaqdan Keçirilən Ümumi Hücum Cəhdləri) * 100Ətraflı İzah
Prompt Injection Vulnerability Rate (PIVR) süni intellekt təhlükəsizliyi (AI Security) sahəsində ən kritik metrikdir. Prompt injection, istifadəçinin LLM-ə (məsələn, chatbot-a) onun daxili təhlükəsizlik qaydalarını (system prompts) pozmağa məcbur edən xüsusi hazırlanmış sorğular göndərməsidir. Məsələn, istifadəçi tətbiqi manipulyasiya edərək pulsuz xidmət ala və ya məxfi məlumatları sızdıra bilər.
PIVR tətbiqin istehsala (production) buraxılmazdan əvvəl nə dərəcədə təhlükəsiz olduğunu göstərir. Kiber-təhlükəsizlik komandaları tətbiqi müxtəlif hücum ssenariləri ilə 'red-teaming' (sınaq hücumları) vasitəsilə test edirlər.
Aşağı PIVR göstəricisi tətbiqin güclü filtrlərə və müdafiə mexanizmlərinə malik olduğunu sübut edir. Bu, brendin reputasiyasını qorumaq və hüquqi problemlərdən qaçmaq üçün mütləqdir.
Bir bankın süni intellekt köməkçisi sınaqdan keçirilir. Təhlükəsizlik mütəxəssisləri köməkçini aldatmaq və daxili sistem məlumatlarını öyrənmək üçün 200 fərqli manipulyativ sorğu (hücum cəhdi) göndərirlər. Bu cəhdlərdən 12-si uğurlu olur və model gizli məlumatları açıqlayır. Hesablama: PIVR = (12 / 200) * 100 = 6%. Komanda PIVR-i 1%-dən aşağı salmaq üçün sistem təlimatlarını gücləndirir.