Imho ist ein großer Vorteil: Man sieht sofort was gemacht wird wenn man durch den Code geht. "Ah hier ein Button, bei einen Click macht er dies und jenes".
Wenn man den Listener an verschiedenen Stellen verwenden kann mache ich das über eine Methode die einen anynomen Listener zurückgibt.
Erst wenn der Umfang wirklich groß wird lagere ich das ganze in eine Klasse aus, wobei ich es hier wirklich ein eine 2. Klasse mache und nicht einfach der GUI Klasse ein "implements" mitgebe. Das wird imho viel zu schnell zu unübersichtlich.

PS: Macht übrigens keinen Unterschied in der Performance. Das ganze wird in eine eigene .class Datei kompiliert.