Agent GUI (agent d'interfaces graphiques)

Un agent qui interagit avec un logiciel en lisant l'écran (screenshots) et en envoyant des entrées : tap, swipe, saisie. Au lieu d'appeler des API, l'agent utilise l'interface comme le ferait un humain — en général via les services d'accessibilité d'Android ou une automatisation bureau. C'est la voie vers des agents capables d'utiliser des applications qui n'exposent pas d'API.