Полное имя — Джеймс Патрик Кэвизелл-младший.

В школе (Кеннеди Хай Скул) Джеймс был признан обладателем самых обворожительных глаз.

В школе Джеймс был участником сборной команды по баскетболу. Он мечтал о карьере баскетболиста в НБА, но из-за травмы ноги спорт пришлось оставить.

У актера есть младший брат Тимати и сестры Анна, Эми и Эрин.

У Джеймса словацкие, швейцарский (по отцу) и ирландские (по матери) корни.

Инициалы Джима Кэвизела — J. C. — совпадают с инициалами Иисуса Христа (Jesus Christ), а на момент начала работы над «Страстями Христовыми» актеру было 33 года.

Джим Кэвизел пользуется в Голливуде репутацией человека очень строгих правил. Он из принципа отказывается сниматься в откровенных любовных сценах. На съемках фильма «Глаза ангела» он не смог допустить, чтобы Дженнифер Лопес была обнаженной во время их совместного эпизода, и потребовал, чтобы она облачилась хотя бы в нижнее бельё. Джим посчитал, что созерцанием обнаженных прелестей мисс Лопес он может нанести обиду своей жене. А на съемках «Особо тяжких преступлений» в 2002 году он пошел еще дальше — в эротической сцене с Эшли Джадд попросил заменить себя дублером.

В течение двух лет учился в Маунт Вернон Хай Скул, затем его семья переехала в Сиэтл, и Джеймса перевели в католическую школу. Высшее образование актер получал в университете Вашингтона.

В университете будущий актер был членом братства Sigma Chi.

Во время съемок картины «Страсти Христовы» в актера дважды ударяла молния, было переохлаждение, раздражения кожи от многослойного грима, так же его по-настоящему «огрели» хлыстом, а ещё бедному Джеймсу пришлось нести крест, весящий семьдесят килограмм.

Джим Кэвизел левша. Одинаково хорошо владея обеими руками, он пишет левой.

В 1997 году работал фотомоделью для фирмы `GAP`

Джеймс Кэвизел должен был сыграть Циклопа в фильме «Люди Икс» (2000), однако в самый последний момент отказался от роли.