James Weldon Johnson syntyi 17. kesäkuuta 1871 Jacksonvillessä Floridassa, ja hänen äitinsä kannusti häntä opiskelemaan englantilaista kirjallisuutta ja eurooppalaista musiikkiperinnettä. Hän opiskeli Atlantan yliopistossa toivoen, että siellä saamaansa koulutusta voitaisiin käyttää afroamerikkalaisten etujen edistämiseen. Valmistuttuaan hän otti vastaan työpaikan lukion rehtorina Jacksonvillessä.
Vuonna 1900 hän kirjoitti Lincolnin syntymäpäivän kunniaksi laulun ”Lift Every Voice and Sing” (Nostakaa kaikki äänet ja laulakaa); laulu oli valtavan suosittu mustien yhteisössä, ja se tuli tunnetuksi ”neekerien kansallislauluna”. Johnson muutti New Yorkiin vuonna 1901 työskennelläkseen veljensä Rosamondin, säveltäjän, kanssa; saavutettuaan jonkin verran menestystä Broadwayn laulunkirjoittajana hän päätti vuonna 1906 ryhtyä Yhdysvaltain konsuliksi Venezuelaan. Diplomaattikunnan palveluksessa ollessaan Johnson julkaisi runoja The Century Magazinessa ja The Independentissa.
Vuonna 1912 Johnson julkaisi nimettömänä romaaninsa The Autobiography of an Ex-Colored Man (French and Company), tarinan muusikosta, joka hylkää mustat juurensa saadakseen elää aineellista mukavuutta valkoisessa maailmassa. Kirja käsittelee rodullisen identiteetin kysymystä 1900-luvulla, mikä oli Harlemin renessanssin kirjailijoiden yhteinen teema.
Lahjakkuutensa ansiosta, jolla hän kykeni taivuttelemaan eri ideologioita edustavia ihmisiä työskentelemään yhdessä yhteisen päämäärän puolesta, Johnsonista tuli vuonna 1920 värillisten ihmisten edistämiseksi toimivan kansallisen yhdistyksen (National Association for the Advancement of Colored People, NAACP) valtakunnallinen organisaattori. Hän toimitti The Book of American Negro Poetryn (Harcourt Brace, 1922), joka on merkittävä panos afroamerikkalaisen kirjallisuuden historiaan. Hänen runokirjansa God’s Trombones (God’s Trombones, Viking Press, 1927) pohjautui hänen vaikutelmiinsa etelän maaseudulta, jotka hän oli saanut matkallaan Georgiaan ollessaan yliopisto-opiskelija. Juuri tämä matka sytytti hänen kiinnostuksensa afroamerikkalaista kansanperinnettä kohtaan.
James Weldon Johnson kuoli 26. kesäkuuta 1938.