Ich würde selber den Nenner nicht rational machen, wenn es anders schöner ist. Ich würde eigentlich auch dazu neigen einen gemeinsamen Faktor auszuklammern
[8, 5, -12] / |[8, 5, -12]| = 1/√233·[8, 5, -12]
Da ich allerdings jedem Schüler/Student empfehle selber seine Aufgaben mit einem Mathe-Tool zu berechnen und zu vergleichen und diese das meist mit einem rationalem Nenner tun handhabe ich das auch so.
Letztendlich ist das auch eine Absprache zwischen Lehrkraft und Schülern wie Ausdrücke anzugeben sind.