Eine Menge von Funktionen mit der Verkettung als Vernüpfung
bildet immer eine Gruppe, wenn sichergestellt ist, dass 
das Ergebnis je zweier verknüpfter Funktionen immer in der Menge ist
und dass es ein neutrales El. gibt und zu jedem ein Inverses.
Assoziativität ist bei Verkettung eh klar.
Da bildest du einfach mal alle Möglichkeiten
f1 ° f2 = f2 (denn wenn du f2 bei f1 einsetzt, hast du wieder f2)
f2 ° f3 =  1 / f3(x) =  1 / (1 - x)  = f4.
Am besten stellst du alles übersichtlich in einer Tabelle zusammen
etwa so. Die beiden vorgerechneten Fälle habe ich schon eingetragen
                  f1    f2     f3     f4         f5    f6
f1                      f2
f2                              f4
f3
f4
f5
f6
Dann wirst du sehen, dass immer wieder eins von f1 bis f6 herauskommt,
alle ist die Menge abegeschlossen gegenüber der Verkettung.
Das neutrale El. ist offenbar f1   und zu jedem ein Inverses wirst du auch sehen.
Ob kommutativ oder nicht siehst du daran, ob die Tabelle zur Hauptdiagonalen
symmetrisch ist oder nicht.
Dann bilde mal alle Potenzen von f4
also erst mal f4°f4   dann das Ergebnsi wieder  °f4 und das Ergebnis wieder etc.
irgendwann wiederholt sich was.
Diejenigen, die vorher entsanden sind bilden (inclusiv f4) die von f4 erzeugte
Untergruppe.