Linearität ist eine Eigenschaft des Skalarprodukts. Die Eigenschaft kannst du also annehmen für die Aufgabe.
Einfach nach den Regeln das Skalarprodukt aufspalten:
<a+b,a-c>=<a+b,a>+<a+b,-c>=<a,a>+<b,a>+<a,-c>+<b,-c>
=<a,a>+<b,a>-<a,c>-<b,c>=||a||^2+<b,a>-<a,c>-<b,c>
Das hast du ja schon richtig gehabt.
Ohne weitere Auskunft über a,b,c kann man nicht weiter vereinfachen.
Eventuell die vollständige Aufgabe einstellen falls noch Fragen bestehen.