"die Komposition von f(3) und f(5) bilden . "
Das kannst du nicht.
Komposition von Funktionen heisst, dass Funktionen zusammengesetzt werden und nicht einzelne Resultate von deiner Rechnung.
Was du machen kannst, ist f mit f zusammensetzen.
f(x) = 3 x + 5
f ( f(3)) = f ( 14) = 3*14 + 5 nun noch ausrechnen.
und
f (f(5)) = f( 20) = 3*20 + 5 = 65.
Studiere unbedingt den Link in der bereits vorhandenen Antwort.