Attore e regista. Figlio di Arthur e Sophie Caan, gestori di una macelleria Kasher nel Queens, a New York. Frequenta i corsi di diritto e storia all'Università del Michigan dove, grazie al fisico prestante, gioca nella squadra di football e eccelle in vari sport. Inizia a recitare presso la Sanford Meisner Neighborhood Playhouse e in seguito prende lezioni da Wynn Handman. Nei primi anni '60 debutta a Broadway e ben presto arriva a Hollywood. La sua prima apparizione al cinema è con un piccolo ruolo, non accreditato, in "Irma la dolce" (1963) di Billy Wilder, cui seguono interpretazioni sul grande e piccolo schermo spesso in parti da cattivo. La svolta nella sua carriera avviene grazie all'incontro con Francis Ford Coppola che gli affida prima il ruolo di 'Killer' in "Non torno a casa stasera" (1969) e poi quello di Sonny Corleone nei primi due episodi della saga di "Il Padrino" (1972 e 1974). E' proprio grazie a questa interpretazione che viene candidato nel 1972 all'Oscar come miglior attore non protagonista. Nel 1981 debutta dietro la machina da presa con "Li troverò ad ogni costo", ma il film non ottiene il successo sperato, e verso la metà degli anni '80 si ritira dalle scene per problemi personali. E' nuovamente grazie a Coppola che ritrova i consensi di pubblico e critica con la sua performance in "Giardini di pietra" (1987), consensi confermati nel 1990 con il ruolo dello scrittore Paul Sheldon - ostaggio della fan psicopatica Annie/Kathy Bates (che per questo film vince l'Oscar) - in "Misery non deve morire" di Brett Rattner.Lontano dal set si dedica a diverse attività tra cui l'allevamento di cavalli da corsa e non ha mai abbandonato l'attività sportiva. E' cintura nera di Karate e per diversi anni ha partecipato ai 'rodei' in giro per gli Stati Uniti (il suo soprannome è Jewish Cowboy).Si è sposato quattro volte e ha cinque figli tra cui Scott Caan (nato dal matrimonio con la modella e attrice Sheila Ryan), che ha seguito le orme paterne.