Du machst das sehr kompliziert. Eigentlich suchst du nur einen Spurpunkt der Geraden und zwar den Schnittpunkt mit der z = 0 Ebene. Damit braucht eigentlich immer nur die z-Koordinate null werden.
a)
E = [0, 4, 3] ; F = [4, 4, 3] ; G = [4, 0, 3] ; H = [0, 0, 3]
E' = [0, 4, 3] + 1.5·[2, 3, -2] = [3, 8.5, 0]
F' = [4, 4, 3] + 1.5·[2, 3, -2] = [7, 8.5, 0]
G' = [4, 0, 3] + 1.5·[2, 3, -2] = [7, 4.5, 0]
H' = [0, 0, 3] + 1.5·[2, 3, -2] = [3, 4.5, 0]
b)
E'' = [0, 4, 3] + 1·([0, 4, 3] - [2, -2, 6]) = [-2, 10, 0]
F'' = [4, 4, 3] + 1·([4, 4, 3] - [2, -2, 6]) = [6, 10, 0]
G'' = [4, 0, 3] + 1·([4, 0, 3] - [2, -2, 6]) = [6, 2, 0]
H'' = [0, 0, 3] + 1·([0, 0, 3] - [2, -2, 6]) = [-2, 2, 0]