Aloha :)
Diese "Klammern" werden Binomialkoeffizient genannt. Die kannst du mit Hilfe der Fakultät berechnen:
$$\left(\begin{array}{c}n\\k\end{array}\right)=\frac{n!}{k!\cdot(n-k)!}$$
Oder mit dem Taschenrechner (Taste: "nCr")... aber die Werte können sehr groß werden.
Bei deiner konkreten Aufgabe ist:
$$\frac{\left(\begin{array}{c}150\\10\end{array}\right)\cdot\left(\begin{array}{c}850\\90\end{array}\right)}{\left(\begin{array}{c}1000\\100\end{array}\right)}=\frac{\frac{150!}{10!\cdot140!}\cdot\frac{850!}{90!\cdot760!}}{\frac{1000!}{100!\cdot900!}}=\frac{150!\cdot850!\cdot100!\cdot900!}{10!\cdot140!\cdot90!\cdot760!\cdot1000!}$$$$\approx0,0413496$$
Für die Fakultät gibt es eine sehr gute Näherungsformel von Stirling, die dir hier weiterhelfen kann:
$$n!\approx\sqrt{2\pi n}\left(\frac{n}{e}\right)^n$$