Es gibt kein Gremium, das entscheidet, welches Symbol welche Bedeutung hat. Jeder Autor darf das selbst entscheiden. Aus diesem Grund befindet sich in guten Mathematikbüchern ein Verzeichnis der verwendeten Symbole und ihrer Bedeutung.
Der Autor des von dir verwendeten Werkes hat sich entschieden, \(\circ\) als Symbol für das Skalarprodukt zu verwenden. Das finde ich eher ungewöhnlich. Wenn das aber in deinem Werk irgendwo so definiert ist, ist zumindest rein mathematisch dagegen nichts einzuwenden.
Es ist üblich, dass Symbole in unterschiedlichen Zusammenhängen unterschiedliche Bedeutung haben. Die Verkettung ist eine Operation, die auf Funktionen angewendet wird. Da es sich in deinem Fall nicht um Funktionen handelt, ist es klar dass es sich nicht um Verkettung handeln kann.