Vielleicht hilft folgendes weiter: Sei$$a_n = \frac{p_n}{q_n}, \quad q_n,\, p_n \in \mathbb N$$dann ist $$a_{n+1} = \frac{a_n^2 +1}{2a_n} = \frac{p_n^2 + q_n^2}{2p_nq_n}$$Mit \(a_2 = 5/4\) ist \(q_2=4\) und \(p_2=5=q_2+1\). Somit ist \(a_3\)$$a_3 = \frac{(q_2+1)^2 + q_2^2}{2q_2(q_2+1)} = \frac{2q_2(q_2+1) + 1}{2q_2(q_2+1)} = \frac{q_3+1}{q_3}$$Du hast das also richtig beobachtet, dass mit \(n \ge 2\) der Zähler immer um 1 größer ist als der Nenner ... und das bleibt dann auch so.
Jetzt ist folglich der Nenner $$\begin{aligned}q_{n+1} &= 2q_n(q_n + 1), \quad n \ge 2 \\ &\gt 2q_n^2 \end{aligned}$$Damit und mit \(q_2=4\) kann man den Nenner zumindest abschätzen:$$q_n \gt 2^{n-2} 4^{\left( 2^{n-2}\right)} $$Der geht also ziemlich durch die Decke um es vorsichtig auszudrücken.
Daher glaube ich nicht, dass man einen Ausdruck für einen rationalen Term findet. Eher könnte es sein, eine stetige(!?) Funktion \(f(x), \space x \in \mathbb R \) zu finden, für die $$f(n) = a_n, \quad n \in \mathbb N$$gilt.