Sergio Rubini è nato il 21 dicembre 1959 a Grumo Appula, in provincia di Bari. Dopo il diploma al liceo scientifico di Altamura, si trasferisce a Roma nel 1978 per frequentare l'Accademia Nazionale d'Arte Drammatica Silvio D'Amico con l'intenzione di intraprendere la carriera attoriale, ma abbandona gli studi dopo soltanto due anni. Nonostante ciò, non rinuncia al sogno di diventare attore e, dopo alcune esperienze in radio e altre in teatro, debutta sul grande schermo nel 1985 con Figlio mio, infinitamente caro... di Valentino Orsini.
L'anno seguente è il figlio di Aldo Moro, Giovanni, ne Il caso Moro (1986) di Giuseppe Ferrara. Nel 1987 tenta i provini per interpretare Federico Fellini da giovane in Intervista e riesce a ottenere l'ambita parte. Da questo momento in poi la carriera di Rubini prende il volo e nello stesso ottiene anche il suo primo ruolo da protagonista con la commedia Il grande Blek (1987) di Giuseppe Piccioni, a cui seguono altre pellicole in cui l'attore riveste sempre il ruolo principale.
Nel 1990 debutta alla regia con La stazione, film che segna l'inizio di un lungo sodalizio con lo sceneggiatore Umberto Marino. Con questa suo esordio, Rubini, oltre ad aggiudicarsi un buon risultato al botteghino, vince anche il David di Donatello e il Nastro d'Argento come Miglior regista esordiente, nonché il Ciak d'oro per la Migliore opera prima. I primi anni Novanta proseguono con altre collaborazioni con Piccioni, come Chiedi la luna (1991) e Condannato a nozze (1993), e recita anche in altre pellicole di grande successo, tra cui Al lupo al lupo (1992) di e con Carlo Verdone e Una pura formalità (1994) di Giuseppe Tornatore. Sono anni questi in cui Rubini torna dietro la macchina da presa per dirigere La bionda (1992) prima e Prestazione straordinaria (1994) dopo. Nel 1997 dà il via a una collaborazione con Gabriel Salvatores con il film Nirvana, dove recita accanto a Christopher Lambert ed Emmanuelle Seigner e con cui ottiene una nomina ai David e una vittoria ai Ciak d'oro.
Nel 1997 continua la sua esperienza registica con Il viaggio della sposa, ambientato nell'Italia meridionale del XVII secolo con protagonisti lui stesso e Giovanna Mezzogiorno, attrice con cui recita anche ne Del perduto amore (1998) di Michele Placido. Rubini è ormai un attore e un regista con una lunga carriera consolidata alle spalle e non stupisce che sul finire degli anni Novanta arrivino per lui delle opportunità che gli permettano di mettersi in luce nel panorama cinematografico mondiale. Nel 1999, infatti, Anthony Minghella lo vuole accanto a un Matt Damon, Jude Law, Cate Blanchett e Gwyneth Paltrow nei panni dell'ispettore Roverini nel thriller Il talento di Mr. Ripley, pellicola con la quale viene nominato ai Nastri d'argento come Miglior attore non protagonista.
Il nuovo millennio inizia con Mirka (2000) dell'algerino Rachid Benhadj e continua con due pellicole da protagonista di Salvatores, ovvero Denti (2000) e Amnèsia (2002). Sebbene in questo decennio Rubini reciti in diversi lavori italiani, tra cui Manuale d'amore (2005) e Commediasexi (2006), e internazionali, come La passione di Cristo (2004) di Mel Gibson, la sua vena registica è quella che più fiorisce con gli anni Duemila. In questo periodo il cineasta porta sul grande schermo diverse pellicole di vario genere, dalle commedie sentimentali Tutto l'amore che c'è (2000), L'anima gemella (2002) e L'amore ritorna (2004), fino alla drammaticità de La terra (2006) - vincitore al Globo d'oro del Gran Premio della Stampa Estera - e de L'uomo nero (2009), passando per il thriller con Colpo d'occhio (2008).
È il padre di Nicolas Vaporidis in Tutto l'amore del mondo (2010) e il consigliere di Antonio Albanese aka Cetto La Qualunque in Qualunquemente (2011). Continua la partecipazione alle commedie italiane con L'ultima ruota del carro (2013) e La stoffa dei sogni (2016), ma Rubini prende parte anche al bellico Road 47 (2014) di Vicente Ferraz e al drammatico La nostra terra (2014) di Giulio Manfredonia. Nel 2016 torna a recitare per Piccioni in Questi giorni e in seguito per Giovanni Veronesi in Non è un paese per giovani (2017). A viaggiare spedita è anche la sua carriera registica con la commedia Mi rifaccio vivo (2013) , le tragicommedie Dobbiamo parlare (2015) e Il grande spirito (2018).