James föddes 5 december 1932 i Chicago och studerade sedan på Roosevelt University. Han sjöng gospel i The Pilgrim Baptist Church under ledning av Thomas Dorsey, gospelns fader.

Inspirerad av den duktiga gospelsångerskan och gospelpianisten Roberta Martin, började James senare att spela piano. 1951 började han sjunga med The Gospelaires, en trio som gjorde många inspelningar för skivbolaget Apollo. I början av sin karriär sjöng han med grupper som The Caravans, The Gospelaires och många andra. Omkring 1959 bildade James sin första grupp, The Gospel Chimes. Tillsammans med The Caravans arrangerade han och framförde två hits, The Solid Rock och en omarrangerad upptempoversion av sången Old Time Religion.

Under mitten av femtiotalet hittade James sånger vägen till andra gospelartisters repertoar, och han uppträdde med bla The Thorn Gospel Singers, Mahalia Jackson, The Gospel Allstars och The Meditation Singers. 1960 bildade han The Cleveland Singers tillsammans med pianisten Billy Preston, som senare skulle bli en R&B-legend. Hitlåten The love of God tillsammans med The Voices of Tabernacle of Detroit gav Cleveland berömmelse över hela USA. Tillsammans med Billy Preston spelade man in en lång red av klassiska skivor, inkluderad Christ is the answer och Peace be still tillsammans med The Angelic Choir of Nutley. Många människor tycker att med albumet Peace be still som gavs ut 1962 startade Cleveland "the traditional black choir sound".

Under sextiotalet blev James Cleveland präst och startade senare The Cornerstone Institutional Baptist Church i Los Angeles. Han var den bäste gospelkompositören i sin generation och det gav honom smeknamnet "Crown Prince – Kronprinsen". James Clevelands stil inspirerade många gospelpersonligheter, speciellt Aretha Franklin och Jessy Dickson.

1972 återförenades han med sin tidigare pianoelev, Aretha Franklin. Aretha var gästsolist på James album Amazing Grace, den bäst säljande gospelalbumet någonsin.

Även om den sjunkande kommersiella trenden för gospelmusik gjorde att även James fick ett avbräck i sin karriär, forsatte han att uppträda med den gospelmusik som har gjort honom till en av de riktigt stora inom gospeln.

Pastor James Cleveland avled den 9 februari 1991 i Los Angeles.