Avery Brundage, Comité Olímpico Internacional