Man hat die Ungleichung $$\ln (n) \leq n$$ wenn wir mit 4 diese Ungleichung multiplizieren bekommen wir $$4 \ln (n) \leq 4 n$$
(b) Ich habe nicht ganz verstanden wie du das $$\ln(n)^{\frac{3}{2}}$$ bekommen hast.
Du kannst folgendes machen:
Man hat $$\ln (n)\leq n, \forall n>0 \\ \sqrt{n}\leq n, \forall n\geq 1 \\ n+1\leq n+n=2n, \forall n\geq 1$$
Also haben wir dass $$f(n)=(n+1)^2+\sqrt{n}(100n+\ln (n))\\ \leq (2n)^2+n(100n+n) \\ =4n^2+101n^2 \\ =105n^2 \\ \Rightarrow f(n)\in O(n^2)$$