Das Skalarprodukt von 2 Vektoren berechnet man folgendermassen
Du hast nur 2 Komponenten, somit brauchst du a_(3)b_(3) nicht.
https://de.wikipedia.org/wiki/Skalarprodukt
Im Link lernst du auch, dass der Betrag im Quadrat rauskommt, wenn du einen Vektor "skalar" mit sich selbst multiplizierst.
Und das macht man, bei der Kreisgleichung, da der Radius R konstant und bekannt ist.
Einen Vektor darfst du nicht einfach = eine Zahl bekommen. Aber wenn du einen Vektor mit einem Vektor skalar multiplizierst, kommt eine (reelle) Zahl raus.