Maurice Joseph Micklewhite nasce nel 1933 a Londra, figlio di una cuoca e di un pescivendolo. Dopo la guerra, la sua famiglia è evacuata in una sistemazione provvisoria per la distruzione della precedente abitazione: Michael vivrà lì "provvisoriamente" per diciassette anni. Comincia a interessarsi al teatro da giovanissimo, ma dal 1952 al 1954 è militare nella Guerra di Corea, un'esperienza che lo segnerà a vita.
In questi stessi anni sceglie il suo nome d'arte quando il suo manager glielo chiede per telefono, in una cabina: guarda un poster dell'Ammutinamento del Caine e ha l'idea. In futuro dirà: "Meno male che non c'era niente davanti a 'Caine', altrimenti mi sarei chiamato 'Michael Mutiny'!" Il suo primo ruolo cinematografico è in questo periodo, nel bellico A Hill in Korea (1956), ma contemporaneamente la sua carriera teatrale è già avviatissima: è sostituto per Peter O'Toole in una commedia, della quale diventa protagonista quando quest'ultimo la lascia per interpretare Lawrence d'Arabia. Lo si nota davvero al cinema comunque nell'epico Zulu (1964), dov'è l'ambiguo tenente Bromhead; il produttore scioglierà il contratto con lui poco dopo, con una motivazione tranciante: "Sembri una checca". Decidendo di giocare su questo stile particolare, accentuando l'accento cockney antiaristocratico, Michael non demorde e prende la cosa con humour.
Nel 1965 è finalmente protagonista, vestendo in Ipcress gli ironici e taglienti panni dell'agente del controspionaggio Harry Palmer, che tornerà in Funerale a Berlino (1966) e Il cervello da un miliardo di dollari (1967); legato al personaggio, Caine lo interpreterà di nuovo trent'anni dopo per la tv in All'inseguimento della morte rossa (1995) e Midnight in Saint Petersburg (1996). Se Palmer gli porta il botteghino inglese, è il donnaiolo Alfie (1966, Lewis Gilbert) che gli fa sfiorare per la prima volta nomination a Oscar e Golden Globe come migliore protagonista; è nata una star, come conferma il ruolo di ladro nella contemporanea commedia sofisticata Gambit - Grande furto al Semiramis (1966), altra nomination al Golden Globe, al fianco di Shirley MacLaine.
Negli anni Settanta si avvicina ancora a Oscar e Golden Globe con il gioco a due di Gli insospettabili (1972, Joseph L. Mankiewicz), diviso addirittura con Laurence Olivier: da notare che Caine sarà coprotagonista anche del remake del 2007, Sleuth - Gli insospettabili, ricoprendo il ruolo che fu di Olivier e lasciando al suo erede putativo Jude Law la parte che fu sua trent'anni prima. Gli altri progetti dei '70 riscuotono altrettanto successo: Un colpo all'italiana, Carter, La notte dell'aquila, California Suite. Tra questi spicca L'uomo che volle farsi re (1975, John Houston), interpretato con l'amico Sean Connery e da Michael considerato il proprio lavoro preferito. Dagli anni Ottanta, la sua carriera alterna belle occasioni a ruoli puramente alimentari, come Vestito per uccidere (1980) e L'isola (1980), sue prime nomination ai Razzie. L'interessato scherza sul peggiore: "Non ho mai visto Lo squalo 4 (1987), mi dicono tutti che fosse orrendo. Comunque, ho visto la casa che mi ha comprato, ed è una meraviglia!" Scherzi a parte, è anche un decennio che gli porta una nomination all'Oscar e una vittoria ai Golden Globe con Rita, Rita (1983, con Julie Walters) e finalmente la statuetta come migliore non protagonista per Hannah e le sue sorelle (1986), diretto da Woody Allen. Nel 1988 gli arriva anche una nomination ai Golden Globe per la commedia Due figli di... di Frank Oz, in duetto con Steve Martin, in una gara di seduttori e truffatori da strapazzo. Nello stesso anno è un esilarante Sherlock Holmes millatantore, manovrato dal Watson-Ben Kingsley, nello strambo Senza indizio (1988).
Dagli anni Novanta in poi, Michael Caine pensa solo a fare quel che gli pare, più del solito, senza fermarsi mai e divertendosi: è Scrooge in Festa in Casa Muppet (1992), è il villain del b-movie Sfida tra i ghiacci (1994, di e con Steven Seagal!), ma anche il medicoWilbur Larch in Le regole della casa del sidro (1999) di Lasse Hallström, per lui foriero di un altro Oscar come migliore non protagonista. Appena un anno prima ha strappato un Golden Globe come non protagonista, nel ruolo di un talent scout, in Little Voice (1998).
L'ultima nomination all'Oscar, ancora come non protagonista, l'ottiene per The Quiet American (2002), dal romanzo di Graham Greene, dove si divide l'attenzione di una Vietnamita con Brendan Fraser. Dagli anni duemila in poi viaggia in generale da comprimario, tra una capata in commedie come Miss Detective (2000), al fianco di Sandra Bullock, o progetti più ambiziosi come I figli degli uomini (2009) di Alfonso Cuarón. I tentativi di rilanciarsi come protagonista, con Harry Brown (2009) o Mister Morgan (2013), non sortiscono l'effetto sperato.
Vale la pena evidenziare in quest'ultimo periodo il legame che si forma con il regista Christopher Nolan, a partire da Batman Begins (2005, dov'è un perfetto maggiordomo Alfred), proseguendo con The Prestige (2006), Il cavaliere oscuro (2008), Inception (2010), Il cavaliere oscuro - Il ritorno (2012) e Interstellar (2014).
Nel 2015 è coprotagonista di Youth - La giovinezza di Paolo Sorrentino, un autore che sicuramente apprezzerà la capacità dell'attore di guardare al mondo con humor anche amaro, espressa bene in una serie di libri pieni di curiosità bizzarre, scritti da Caine per beneficienza (Not Many People Know That).