Гэри Коул родился в Парк Ридж (штат Иллинойс). Его отец был сотрудником администрации в школе, а мать- финансовым директором. В школьные годы Коул дебютировал как актер в роли Снупи в постановке «Ты хороший человек, Чарли Браун». Окончив школу, Гэри поступил в Государственный университет Иллинойса, где изучал театральное искусство.
Профессиональная актерская карьера Гэри Коула началась в 1983 году на театральной сцене в Чикаго. В 1985 году он присоединился к театральной компании Степпенвульф и начал играть в различных постановках в Нью-Йорке. Экранным дебютом Гэри Коула стала драма 1983 года «Стальное сердце». В конце 1980-х Коул получил широкую известность благодаря роли Джека Киллана в сериале «Звонящий в полночь».
Помимо актерских работ в кино и на телевидении Гэри Коул известен своим голосом, которым говорят пресонажи многих мультсериалов — в частности, «Харви Бердмэн, адвокат», «Гриффины», «Царь горы», «Лига справедливости» и других.
В 2014 году Гэри Коул получил свою первую номинацию на «Эмми» как лучший приглашенный актер в комедийном сериале («Вице-президент»).
С марта 1992 года Гэри Коул женат на актрисе Тедди Сиддолл, у них есть дочь Мэри.
