Budaj bol draftovaný Coloradom v druhom kole v roku 2001 ako celkovo 63. hráč. Pred vstupom do NHL hrával za tím AHL Hershey Bears. Ako dvadsaťtriročný sa zúčastnil Zimných olympijských hier 2006 v Turíne, kde zastával post reprezentačnej jednotky. Zúčastnil sa aj olympijského turnaja o štyri roky neskôr, ale neodchytal ani jeden zápas.

V prvej sezóne v NHL nastúpil na 34 zápasov a od 9. marca 2006 pôsobil ako dočasná klubová jednotka Colorada Avalanche. V bráne debutoval 9. októbra 2005 proti Dallasu. V zápase dostal dva góly a vyhral ho. So štrnástimi výhrami v prvej sezóne sa dostal v historických štatistikách na šieste miesto. V sezóne 2006/07 sa stal jednotkou Colorada a zachytal si aj v Zápase hviezd nováčikov.

V lete 2011 sa stal neobmedzeným voľným hráčom a následne podpísal zmluvu s Montrealom Canadiens, kde pôsobil ako náhradník Careyho Pricea. Dňa 5. októbra 2014 bol vymenený do Winnipegu, ktorý mu nedal šancu v prvom tíme. V nižšej AHL sa mu nedarilo a skončil medzi najhoršími brankármi súťaže. V sezóne 2015/16 však na to zareagoval výbornými výkonmi v drese záložného tímu Los Angeles Kings. V AHL si zachytal v Zápase hviezd a stal sa aj najlepším brankárom sezóny.

V ďalšej sezóne po zranení Jonathana Quicka dostal šancu chytať za Los Angeles Kings. Pred prestupovou uzávierkou bol vymenený do Tampy, s ktorou v lete 2017 podpísal dvojročný kontrakt. V sezóne 2017/18 utrpel zranenie a prišiel o pozíciu brankárskej dvojky Lightning. V júni tak bol vymenený naspäť do L.A..