a = 6 cm, b = 5 cm, c = 10 cm
Zunächst Gamma mit dem Kosinussatz bestimmen ist schon richtig.
γ = ARCCOS((a^2 + b^2 - c^2)/(2·a·b))
γ = ARCCOS((6^2 + 5^2 - 10^2)/(2·6·5)) = 130.5416018°
Nun kann man direkt die Fläche mit zwei Seiten und dem eingeschlossenen Winkel bestimmen. Dazu bräuchte man nur wissen das Sinus mal Seitenlänge gleichzeitig die Höhe ist. Am besten machst du dir mal eine Skizze damit du das verstehst.
A = 1/2 * a * b * sin(γ)
A = 1/2 * 6 * 5 * sin(130.5416018°) = 11.39901312 cm^2