Also mit der Analytischen Geometrie ist das recht simpel.
Nimm einfach mal die Punkte A, B und C und einen Punkt P. Wir stellen die Ebene ABC auf und setzen diese gleich dem Punkt
A + r * AB + s * AC = P
Dieses Gleichungssystem kann man lösen, wenn P in der aufgespannten Ebene liegt.
Ist dann 0 <= r <= 1 und 0 <= s <= 1 und r + s <= 1 liegt der Punkt P auf dem von A, B und C festgelegtem Dreieck.
Ist dann 0 <= r <= 1 und 0 <= s <= 1 und r + s <= 2 liegt der Punkt P auf dem von AB und AC aufgespannten Parallelogramm.
Da man jedes Polygon zur Not in Dreiecke zerlegen kann, kann man das mit jedem Polygon so machen.
In guten Bilbliotheken zur Spieleprogrammierung sind solche Abfragen integriert.