La protection et la sécurité lors de l’utilisation de l’IA générative sont des enjeux cruciaux à considérer. Avec l’émergence de nouvelles techniques telles que les boucliers de prompt et la mise en lumière, il est essentiel de comprendre comment composer des prompts qui empêchent les attaques malveillantes ou indésirables.
Les attaques de prompt visent à manipuler les réponses de l’IA générative en introduisant des instructions malveillantes, que ce soit directement par l’utilisateur (UPIA) ou de manière indirecte par le biais de documents externes (XPIA). Pour contrer ces risques, des techniques de mise en lumière, telles que le marquage des délimiteurs, le marquage des données et l’encodage ont été développées.
L’utilisation de ces techniques peut être cruciale pour éviter des situations fâcheuses. Par exemple, en marquant spécifiquement les parties du texte que l’IA doit considérer comme valides, il est possible de limiter les erreurs et les interprétations incorrectes de l’IA. Cependant, il est important de noter que ces techniques ont leurs limites et peuvent être contournées par des attaquants déterminés.
Il est recommandé de maîtriser ces techniques et de les appliquer judicieusement, en particulier lors de l’importation de textes externes dans l’IA générative. En restant vigilant et en adaptant votre approche en fonction des circonstances, vous pouvez minimiser les risques liés à l’utilisation de l’IA générative et protéger votre expérience d’utilisateur.