Injecția de prompturi ca confuzie de roluri

Cercetătorii Charles Ye, Jasmine Cui și Dylan Hadfield-Menell au descoperit o problemă majoră în AI, referită ca „confuzie de rol”, care afectează capacitatea modelelor de a distinge între textul de sistem și inputul utilizatorului. Aceste modele pot fi induse în eroare prin modificarea stilului textului, rezultând în o reducere a succesului atacurilor de la 61% la 10%. Această situație subliniază provocările în prevenirea injectării de prompturi în modelele actuale, sugerând că soluțiile vor rămâne complicate.