Attore. Nel 1944, dopo essersi laureato a Yale, si arruola in Marina e parte per il fronte. Una volta tornato in patria, inizia a coltivare la sua passione per la recitazione e proprio sul palcoscenico conosce Nancy Mygatt, che nel 1947 diventa sua moglie e da cui ha tre figli: Steve, Dan e James Jr., che seguirà le orme del padre diventando anche lui attore. Nel 1948 Whitmore approda a Broadway per interpretare il sergente Evans in "Command Decision", ruolo che gli vale un Tony Award e che gli procura un ingaggio alla Mgm. Nello stesso anno gli viene offerto di interpretare la versione cinematografica della pièce teatrale al fianco di Clark Gable ma all'ultimo momento il suo posto viene preso da Van Johnson che, stanco di essere considerato una star da musical, è alla ricerca di un ruolo che lo liberi dal cliché in cui è imprigionato. Nel 1949 però Jospeh H. Lewis lo sceglie per interpretare George Pappas in "Mani lorde", accanto a Glenn Ford e Nina Foch e nello stesso anno interpreta il suo primo film importante, "Bastogne" di William A. Wellman, che gli vale la sua prima nomination agli Oscar come migliore attore non protagonista e il primo Golden Globe. Attore talentuoso, dotato di un fisico possente e di un volto molto particolare, viene subito scelto come comprimario in molti film. Nel 1950 in "The Next Voice You Hear" ancora di Wellman, interpreta accanto a Nancy Davis il ruolo di un uomo profondamente religioso e devoto alla famiglia e nello stesso anno John Huston lo sceglie per il ruolo di Gus Minissi in "Giungla d'asfalto". Nel 1953 è un risibile gangster in "Baciami Kate!" di George Sidney al fianco di Howard Keel e l'anno successivo tratteggia un coraggioso poliziotto capace di combattere contro delle gigantesche formiche mutanti nel film fantascientifico "Assalto alla Terra" di Gordon Douglas. Nel corso degli anni '60, si dedica alla televisione - rimangono memorabili le sue interpretazioni in "Ai confini della realtà", "Ben Casey", "Squadra omicidi" e "Il dottor Kildare" - senza però mai abbandonare il cinema per il quale fa parte del cast di alcuni cult movie tra cui "Il pianeta delle scimmie"(1968) di Franklin J. Schaffner. Alla fine degli anni '60, dopo vent'anni di matrimonio, lascia sua moglie Nancy per sposare l'attrice Audra Lindley con la quale farà coppia fissa sul palcoscenico anche dopo il loro divorzio, che avviene nel 1979. Nel 1975 il ruolo del presidente Harry S. Truman in "Give 'em Hell, Harry!" gli regala una seconda nomination agli Oscar come miglior attore e nel 1977 il suo volto comincia a essere noto anche al pubblico europeo grazie alla sua partecipazione al film di Ingmar Bergman "L'uovo del serpente". Negli ultimi anni Whitmore, che aveva risposato nel 2001 la sua prima moglie, Nancy, aveva fatto parte del cast di "CSI: Crime Scene Investigation" e aveva prestato il suo volto a Brooks, il commovente carcerato suicida di "Le ali della libertà" di Frank Darabont (1994). Si spegne all'età di 87 anni a causa di un cancro ai polmoni che gli era stato diagnosticato nel novembre del 2008.