Der Betrag der Strecke AB ist gegeben und daher konstant und spielt folglich für den Lösungsweg keine Rolle. Es reicht aus die Höhe hc - d.h. den Abstand des Punktes C von der Geraden g durch A und B zu maximieren.
Dazu bestimme ich die Geradengleichung in der Normalform. Aus folgender Überlegung ..

.. folgt, dass ein Normalenvektor n der Geraden
n=(−m1)
ist. Damit und mit dem Punk A stelle ich die Normalengleichung auf:
g : n⋅x=n⋅(axay)=−m⋅ax+ay
Ein Maß h∗ für den Abstand eines Punktes C (mit Ortsvektor c) ist
h∗=n⋅c+m⋅ax−ay
Wohlgemerkt ist h∗ nicht direkt der Abstand von C von g, da ich n nicht normiert habe, aber es ist ein Vielfaches des Abstands und es reicht daher aus, diesen Wert zu maximieren. Einsetzten der Koordinaten von C ergibt dann:
h∗(cx)=−m⋅cx+cx2+m⋅ax−ay
und ableiten nach cx
∂cx∂h∗=−m+2cx→0
Und das Ergebnis ist dann
cx=2m=2(bx−ax)by−ay