GUI agent (agente interfacce grafiche)

Un agente che interagisce con un software leggendo lo schermo (screenshot) e inviando input: tap, swipe, digitazione. Invece di chiamare API, l'agente usa l'interfaccia come la usa un essere umano — di solito con i servizi di accessibilità di Android o un'automazione desktop. È la via verso agenti che sanno usare app che non espongono API.