Джим Картер родился в Харрогейте, в Северном Йоркшире. Его отец работал в Министерстве обороны, а мать служила в Британской женской сухопутной армии, а затем работала секретарем в школе. Картер ходил в колледж Эшвилл в родном городе, после чего поступил в Университет Сассекса, где изучал юриспруденцию и стал инициатором создания местного драматического общества. Через два года он бросил учебу и присоединился к труппе фринж-театра Brighton Combination.
В 1970-х Джим Картер был членом популярной бостонской труппы комедиантов Madhouse Company Of London. Дебют Картера на телевидении состоялся в 1980 году в сериале «Фокс». Всего он сыграл более 120 ролей в кино и на телевидении и около 50 ролей в театре.
Наибольшую известность Джим Картер приобрел в 2010 году, когда вошел в основной актерский состав сериала «Аббатство Даунтон». За роль дворецкого мистера Карсона актер был трижды номинирован на премию «Эмми» в категории «лучшая мужская роль второго плана в драматическом сериале».
С 1983 года Джим Картер женат на британской актрисе Имелде Стонтон. У них есть дочь Бесси.
