A floridai Jacksonville-ben 1871. június 17-én született James Weldon Johnsont édesanyja az angol irodalom és az európai zenei hagyományok tanulmányozására ösztönözte. Az atlantai egyetemre járt, abban a reményben, hogy az ott kapott képzést az afroamerikaiak érdekeinek előmozdítására használhatja. A diploma megszerzése után középiskolai igazgatóként vállalt munkát Jacksonville-ben.
1900-ban Lincoln születésnapja alkalmából megírta a “Lift Every Voice and Sing” című dalt; a dal rendkívül népszerű volt a fekete közösségben, és a “néger nemzeti himnusz” néven vált ismertté. Johnson 1901-ben New Yorkba költözött, hogy testvérével, a zeneszerző Rosamonddal dolgozzon; miután a Broadway dalszerzőjeként némi sikert ért el, 1906-ban úgy döntött, hogy az Egyesült Államok venezuelai konzuljaként vállal munkát. Miközben a diplomáciai testületnél dolgozott, Johnson verseket publikált a The Century Magazine-ban és a The Independentben.
1912-ben Johnson névtelenül kiadta The Autobiography of an Ex-Colored Man című regényét (French and Company), amely egy zenész története, aki elutasítja fekete gyökereit a fehér világban való anyagi jólétért. A könyv a huszadik században a faji identitás kérdését vizsgálja, ami a harlemi reneszánsz íróinak közös témája.
A különböző ideológiájú emberek meggyőzéséhez való tehetségével, hogy egy közös cél érdekében dolgozzanak együtt, Johnson 1920-ban a National Association for the Advancement of Colored People (NAACP) országos szervezője lett. Ő szerkesztette a The Book of American Negro Poetry (Harcourt Brace, 1922) című könyvet, amely jelentős hozzájárulás az afroamerikai irodalom történetéhez. God’s Trombones című verseskötetét (Viking Press, 1927) a vidéki Délről szerzett benyomásai befolyásolták, amelyeket egy georgiai utazás során szerzett, amikor elsőéves főiskolás volt. Ez az utazás volt az, amely lángra lobbantotta érdeklődését az afroamerikai népi hagyományok iránt.
James Weldon Johnson 1938. június 26-án halt meg.