Attore e ballerino, figlio di un emigrante austriaco, esordisce giovanissimo danzando con la sorella Adele. I due formano una coppia di successo esibendosi nei teatri di Londra e Broadway dal 1907 al 1932. Rimasto solo a causa del matrimonio di Adele con un lord inglese, nel 1933 firma un contratto con la RKO e debutta sul grande schermo con una piccola parte in "La danza di Venere" (Dancing Lady) di Robert Z. Leonard con Joan Crawford. Nello stesso anno incontra Ginger Rogers sul set di "Carioca" (Flyng down to Rio) di Thorntorn Freeland e con lei forma una delle coppie più celebri del cinema. Lavorano insieme in una decina di film, ma nel 1939 l'armonia tra i due si spezza e lei lo abbandona per tentare una carriera differente; si ritroveranno un'ultima volta nel 1949 nel film "I Barkley di Broadway" (Barckleys of Broadway) di Charles Walters. Nel 1946 decide di abbandonare il cinema ed apre una catena di scuole di ballo. Ma sarà per poco visto che nel 1948 torna sugli schermi con il film "Ti amavo senza saperlo" (Easter Parade) dello stesso Walters al fianco di Judy Garland, anche a seguito di una petizione del Paramount Theater di New York con diecimila firme d'artisti.Nella sua carriera ha ricevuto due premi Oscar: nel 1949 un Oscar Speciale per il suo contributo ai film musicali e nel 1974 come miglior attore non protagonista del film "L'inferno di cristallo" (The Towering Inferno) di John Guillermin, in cui interpreta un ruolo non danzante ma drammatico che gli è valso anche un Globo d'Oro. Ha ricevuto un altro Globo d'Oro per "Tre piccole parole" (Three little words) di Richard Thorpe nel 1950 e premi speciali alla carriera dal Festival di Berlino nel 1970 e dall' American Film Institute nel 1981. Ha avuto una sola moglie, Phyllis Porter, sposata nel 1933, da cui ha avuto due figli, Fred jr. e Ava. Due le sue grandi passioni: i cavalli e il golf.La sua tomba si trova all'Oakwood Memorial Park, lo stesso cimitero in cui è stata sepolta Ginger Rogers.