Zunächst lässt sich kürzen: $$\dfrac{n!}{n^2}=\dfrac{(n-1)!}{n}$$ Dann folgt aus dem Satz von Wilson (der dieses Ergebnis weder entdeckte noch bewies, sondern wiederentdeckte) für natürliche Zahlen \(n \ge 2\): $$(n-1)!\equiv {\begin{cases}n-1{\pmod n},&{\mathrm {falls}}\ n\ {\mathrm {Primzahl}},\\2{\pmod n},&{\mathrm {falls}}\ n=4,\\0{\pmod n},&{\mathrm {sonst}}.\end{cases}}$$ Demzufolge ist 4 die einzige zusammengesetzte Zahl, die bei der angegebenen Division einen Rest lässt.
(Das lässt sich vielleicht auch ohne den Satz von Wilson irgendwie elegant lösen.)