James Weldon Johnson föddes den 17 juni 1871 i Jacksonville, Florida och uppmuntrades av sin mor att studera engelsk litteratur och den europeiska musiktraditionen. Han gick på Atlanta University med förhoppningen att den utbildning han fick där skulle kunna användas för att främja afroamerikanernas intressen. Efter examen tog han anställning som rektor för en high school i Jacksonville.
År 1900 skrev han sången ”Lift Every Voice and Sing” med anledning av Lincolns födelsedag; sången blev oerhört populär i det svarta samhället och blev känd som ”Negro National Anthem”. Johnson flyttade till New York 1901 för att arbeta med sin bror Rosamond, en kompositör; efter att ha nått viss framgång som låtskrivare för Broadway bestämde han sig 1906 för att ta ett jobb som amerikansk konsul i Venezuela. Medan han var anställd av diplomatkåren fick Johnson dikter publicerade i The Century Magazine och The Independent.
1912 publicerade Johnson anonymt sin roman The Autobiography of an Ex-Colored Man (French and Company), berättelsen om en musiker som förkastar sina svarta rötter för att istället leva ett liv med materiell bekvämlighet i den vita världen. Boken utforskar frågan om rasidentitet under 1900-talet, ett gemensamt tema för författarna i Harlemrenässansen.
Med sin talang för att övertala människor med olika ideologier att arbeta tillsammans för ett gemensamt mål blev Johnson 1920 nationell organisatör för National Association for the Advancement of Colored People (NAACP). Han redigerade The Book of American Negro Poetry (Harcourt Brace, 1922), ett viktigt bidrag till den afroamerikanska litteraturens historia. Hans diktsamling God’s Trombones (Viking Press, 1927) påverkades av hans intryck av den lantliga södern, hämtade från en resa han gjorde till Georgia när han var förstaårselev i college. Det var denna resa som tände hans intresse för den afroamerikanska folktraditionen.
James Weldon Johnson dog den 26 juni 1938.