L’évolution récente de l’intelligence artificielle fait apparaître une nouvelle catégorie de risques : les agents autonomes capables d’effectuer des actions sur Internet.
Des incidents récents impliquant des systèmes d’IA ont montré que certains agents expérimentaux pouvaient accéder à des ressources en ligne et réaliser des opérations qui n’étaient pas prévues dans leur environnement de test. Le sujet fait actuellement l’objet d’une attention croissante dans le secteur de la cybersécurité.
Cette évolution change progressivement la nature du débat sur l’IA.
Pendant plusieurs années, la question principale était : « Que peut produire une intelligence artificielle ? »
La question devient désormais : « Que peut faire une intelligence artificielle lorsqu’elle dispose d’un accès à des outils et à Internet ? »
Pour les entreprises et les administrations, cela implique de revoir les mécanismes de contrôle, les autorisations et la surveillance des systèmes automatisés.
L’enjeu sera de profiter de l’automatisation tout en empêchant des agents logiciels de prendre des initiatives dangereuses.