James Olson sinh ngày 8 tháng 10 năm 1930 tại Evanston, Illinois, con trai của LeRoy Olson, một kỹ sư. Anh bắt đầu sự nghiệp sân khấu của mình từ lúc 12 tuổi với vai "Hans Brinker" trong vở kịch của Nhà hát Nhi đồng Evanston mang tên 'Hans Brinker and the Silver Skates'. Sau khi tốt nghiệp Đại học Northwestern với bằng kỹ thuật nói, anh đã gia nhập quân đội Mỹ làm lính cảnh sát quân đội (M.P.) vào năm 1952 và phục vụ trong thời gian hai năm. Trước khi chuyển đến New York, James Olson là một diễn viên sân khấu tại Chicago. Với chiều cao 6'3" (khoảng 1m90), Olson học diễn xuất với Lee Strasberg và ra mắt Broadway trong vở kịch 'The Young and Beautiful'. Trong những năm 1950 và 1960, anh tiếp tục gặt hái những vai diễn đáng nhớ trên sân khấu Broadway trong các vở kịch 'J.B.' (1958), 'Romulus' (1962), 'The Chinese Prime Minister' (1964), 'The Three Sisters' (1964) và 'Of Love Remembered' (1967). Năm 1966, Olson tham gia vở nhạc kịch 'Holly Golightly' (dựa trên bộ phim Breakfast at Tiffany's (1961)) với sự tham gia của Mary Tyler Moore và Richard Chamberlain, tuy nhiên vở kịch không thành công và đã đóng cửa trước khi lên sân khấu Broadway. Olson bắt đầu sự nghiệp trên truyền hình với vai chính trong bộ phim The Life of Mickey Mantle (1956). Sự nghiệp điện ảnh của anh bắt đầu với bộ phim hành động đáng quên The Sharkfighters (1956), nhưng sau đó anh đã tham gia các vai diễn tốt hơn trong bộ phim noir The Strange One (1957) và phiên bản kinh điển của Chekhov The Three Sisters (1966) (với vai diễn Baron Tuzenbach, vai đã từng đóng trên sân khấu Broadway). Anh đã thể hiện sự mạnh mẽ không nổi bật trong vai người theo đuổi Joanne Woodward trong bộ phim được đề cử giải Oscar Rachel, Rachel (1968), đây được xem là những đánh giá tốt nhất trong sự nghiệp điện ảnh của anh. Sau đó, anh đóng vai nhà khoa học chính trong bộ phim kinh dị khoa học viễn tưởng kinh điển The Andromeda Strain (1971). Anh tiếp tục biểu diễn trên sân khấu trong các vai diễn trong 'The Glass Menagerie', 'The Crucible', 'A Safe Place', 'Twelve Dreams' và 'Winterplay'. Anh có nhiều vai diễn trong các phim truyền hình như Paper Man (1971), Incident on a Dark Street (1973), A Tree Grows in Brooklyn (1974), The Sex Symbol (1974), The Missiles of October (1974), The Family Nobody Wanted (1975), Someone I Touched (1975), Strange New World (1975), Law and Order (1976) và The Spell (1977), và tham gia đóng phụ hoặc vai phụ định kỳ trong các series truyền hình như Bonanza (1959), Marcus Welby, M.D. (1969), Medical Center (1969), Police Story (1973), Police Woman (1974), The F.B.I. (1965), Gunsmoke (1955), Mannix (1967), Harry O (1973), Hawaii Five-O (1968), Maude (1972), Barnaby Jones (1973), The Bionic Woman (1976) và Battlestar Galactica (1978). Tuy nhiên, Olson không đạt được thành công vang dội. Anh kết thúc sự nghiệp với các bộ phim Ragtime (1981), Amityville II: The Possession (1982), Commando (1985) và Rachel River (1987) cùng sự xuất hiện trên TV trong The Family Man (1990) và Murder, She Wrote (1984) vào năm 1990, trước khi nghỉ hưu.