Die Labels ändern sich ja nicht, kannste die nicht auch aufs JFrame auslagern?
Falls ja könntest du, weil nur noch Buttons im Panel sind, mit Panel.getcomponents() die Ganzen Buttons auf einmal holen und leicht durchiterieren.
oder einfach checken obs n Button oder ein Label ist und nur bei Buttons ausführen
Könnt auch sein dass es C.getComponent() ist Aber das Prinzip sollte verständlich sein.