Die Idee mit dem Skalarprodukt ist zwar für die Rechtwinkligkeit vernünftig, aber du sollst ja auch noch den Flächeninhalt berechnen und benötigst spätestens dann Seitenlängen.
Ich schlage deshalb als Alternative vor, zunächst die Beträge der Vektoren AB, AC und BC (und damit die Seitenlängen selbst) zu berechnen. Das Dreieck ist rechtwinklig, wenn das Quadrat der größten Seitenlänge gleich der Summe der Quadrate der beiden anderen Seitenlängen ist (Umkehrung Pythagoras).
Mit den beiden Kathetenlängen hat man dann leicht auch die Fläche berechnet.