Aloha :)
Das System lautet in Matrixschreibweise:$$\binom{\dot x}{\dot y}=\begin{pmatrix}1 & a\\-b & 1\end{pmatrix}\binom{x}{y}$$Die Eigenwerte und Eigenvektoren der Matrix sind:$$\lambda_1=1-i\sqrt{ab}\quad;\quad\lambda_2=1+i\sqrt{ab}\quad;\quad\vec v_1=\binom{i\,\sqrt{\frac{a}{b}}}{1}\quad;\quad\vec v_2=\binom{-i\sqrt{\frac{a}{b}}}{1}$$Damit lautet die Lösung des Systems:$$\binom{x}{y}=c_1\,e^{(1-i\sqrt{ab})t}\binom{i\,\sqrt{\frac{a}{b}}}{1}+c_2\,e^{(1+i\sqrt{ab})t}\binom{-i\,\sqrt{\frac{a}{b}}}{1}\quad;\quad c_1,c_2=\text{const}$$Der Trick, weshalb das die Lösung ist, liegt darin, dass die Wirkung von EW und EV:$$A\cdot(c_ie^{\lambda_i\,t}\vec v_i)=\lambda_ic_ie^{\lambda_i\,t}\vec v_i$$dieselbe ist wie die Wirkung der Ableitung:$$\frac{d}{dt}\left((c_ie^{\lambda_i\,t}\vec v_i)\right)=\lambda_ic_ie^{\lambda_i\,t}\vec v_i$$Die allgemeine Lösung ist wie üblich eine Linearkombination aller möglichen Lösungen.
Die Anfangsbedinungen sind:$$x(0)=i\sqrt{\frac{a}{b}}(c_1-c_2)\quad;\quad y(0)=c_1+c_2$$Deine Anfangsbedingung "tötet" das System, denn aus \(x(0)=0\) folgt \(c_1=c_2\) und aus \(y(0)=0\) folgt \(c_1+c_2=0\), sodass \(c_1=c_2=0\) resultiert. Sinnvoll ist eigentlich nur \(x(0)=0\) und \(y(0)\ne0\).