Sind Grundkenntnisse der Vektorrechnung vorhanden? Dann könnte man das wohl recht geschickt über das Kreuzprodukt lösen.
BC = [4, 0] - [0, 4] = [4, -4]
BA = [x, x^2 - 6·x + 13] - [0, 4] = [x, x^2 - 6·x + 9]
Gerichtete Fläche
A = 1/2 * BC * BA = 1/2·ABS([4, -4] ⨯ [x, x^2 - 6·x + 9]) = 2·x^2 - 10·x + 18
A' = 4·x - 10 = 0
x = 2.5
A(2.5) = 5.5
Skizze: