James Weldon Johnson blev født den 17. juni 1871 i Jacksonville, Florida, og blev af sin mor opfordret til at studere engelsk litteratur og den europæiske musiktradition. Han gik på Atlanta University med håbet om, at den uddannelse, han fik der, kunne bruges til at fremme afroamerikanernes interesser. Efter sin eksamen tog han et job som rektor på en high school i Jacksonville.
I 1900 skrev han sangen “Lift Every Voice and Sing” i anledning af Lincolns fødselsdag; sangen blev uhyre populær i det sorte samfund og blev kendt som “Negro National Anthem”. Johnson flyttede til New York i 1901 for at arbejde sammen med sin bror Rosamond, der var komponist; efter at have opnået en vis succes som sangskriver på Broadway, besluttede han i 1906 at tage et job som amerikansk konsul i Venezuela. Mens han var ansat i det diplomatiske korps, fik Johnson udgivet digte i The Century Magazine og The Independent.
I 1912 udgav Johnson anonymt sin roman The Autobiography of an Ex-Colored Man (French and Company), historien om en musiker, der forkaster sine sorte rødder til fordel for et liv med materiel komfort i den hvide verden. Bogen udforsker spørgsmålet om raceidentitet i det 20. århundrede, et fælles tema for forfatterne i Harlem Renaissance.
Med sit talent for at overtale folk med forskellige ideologier til at arbejde sammen om et fælles mål blev Johnson i 1920 den nationale organisator for National Association for the Advancement of Colored People (NAACP). Han redigerede The Book of American Negro Poetry (Harcourt Brace, 1922), som er et vigtigt bidrag til den afroamerikanske litteraturs historie. Hans digtsamling God’s Trombones (Viking Press, 1927) var påvirket af hans indtryk af landdistrikterne i Syden, som han hentede fra en rejse til Georgia, da han var førsteårsstuderende på college. Det var denne rejse, der tændte hans interesse for den afroamerikanske folketradition.
James Weldon Johnson døde den 26. juni 1938.