Mahalia flyttade som sextonåring till Chicago och 1932 sjöng hon solo i kyrkokören och var medlem av The Johnson singers. Hon hade en bluesmättad altröst och fick många erbjudanden att sjunga blues och jazz, men sade nej till alla. Som hon själv sade: "Gospelsånger är fulla av hopp… men när du sjungit blues har du ingenting kvar". I mitten av trettiotalet var Mahalia en etablerad soloartist och spelade in sin första skiva 1937.

Med "Move on up a little higher", som var skriven av den kände gospelkompositören W.H. Brewster, fick gospelmusiken sin första miljonsäljare 1946. Fortfarande var Mahalia bara populär bland svarta, men i början av femtiotalet fick hon resa till England och sjöng i Carnegie Hall. Hon blev nu känd även för den vita publiken, spelade in mängder av skivor och fick bl.a göra TV-framträdanden. Under medborgarrättsrörelsen samarbetade Mahalia med Dr. Martin Luther King, och hon sjöng "Precious Lord" på hans begravning 1968.