du sollst nicht das Maximum des Vektorfeldes berechnen, sondern das Maximum der Divergenz bestimmen.
Die Definition davon ist ja gegeben.
div V = (x-y)^3+y^3-3x := f(x,y)
Jetzt ganz normal von f den Gradienten bestimmen und 0 setzten, wie du bereits richtig erkannt hast. Zur Klassifikation der Extrema hilft die Hesse-Matrix.