James Weldon Johnson se narodil 17. června 1871 v Jacksonville na Floridě a jeho matka ho vedla ke studiu anglické literatury a evropské hudební tradice. Navštěvoval univerzitu v Atlantě s nadějí, že vzdělání, které zde získal, bude moci využít k prosazování zájmů Afroameričanů. Po ukončení studia nastoupil jako ředitel střední školy v Jacksonville.
V roce 1900 napsal u příležitosti Lincolnových narozenin píseň „Lift Every Voice and Sing“ (Pozvedněte každý hlas a zpívejte); píseň byla v černošské komunitě nesmírně populární a stala se známou jako „černošská národní hymna“. V roce 1901 se Johnson přestěhoval do New Yorku, kde pracoval se svým bratrem Rosamondem, hudebním skladatelem; poté, co dosáhl jistého úspěchu jako autor písní pro Broadway, se v roce 1906 rozhodl přijmout práci amerického konzula ve Venezuele. Během svého působení v diplomatickém sboru Johnson publikoval básně v časopisech The Century Magazine a The Independent.
V roce 1912 Johnson anonymně vydal román The Autobiography of an Ex-Colored Man (French and Company), příběh hudebníka, který zavrhne své černošské kořeny kvůli životu v materiálním pohodlí v bílém světě. Kniha se zabývá otázkou rasové identity ve dvacátém století, což bylo společné téma spisovatelů harlemské renesance.
Díky svému talentu přesvědčit lidi odlišných ideologií, aby spolupracovali na společném cíli, se Johnson v roce 1920 stal národním organizátorem Národní asociace pro podporu barevných (NAACP). Vydal knihu The Book of American Negro Poetry (Harcourt Brace, 1922), která je významným příspěvkem k dějinám afroamerické literatury. Jeho básnická sbírka God’s Trombones (Viking Press, 1927) byla ovlivněna jeho dojmy z jižanského venkova, které čerpal z cesty do Georgie, kterou podnikl v prvním ročníku vysoké školy. Právě tato cesta podnítila jeho zájem o afroamerickou lidovou tradici.
James Weldon Johnson zemřel 26. června 1938.