Nel 1953 si riunì al fratello nel gruppo The Fabulous Dorseys e ne fu al comando dopo la morte di Tommy. Dopo la morte del fratello, Jimmy visse solo per pochi mesi: morì di cancro a New York nel 1957. Poco prima della sua morte gli fu assegnato un disco d’oro per il suo pezzo So Rare. Questo brano si distinse anche per essere stato la prima canzone al top delle classifiche (secondo posto nella classifica del Billboard Magazine) durante la prima decade dell’epoca del rock ‘n’ roll (infatti nel film su Elvis Presley del 1981 viene rappresentato anche Jimmy Dorsey).
Jimmy Dorsey comparve inoltre in molti film hollywoodiani degli anni Trenta e Quaranta, tra cui That Girl From Paris (1936), Shall We Dance? (Voglio danzar con te) (1937), The Fleet’s In, Lost in Harem (Sperduti nell’harem) (1944), I Dood It (1943) e naturalmente The Fabulous Dorseys (1947).