Geboren op 17 juni 1871 in Jacksonville, Florida, werd James Weldon Johnson door zijn moeder aangemoedigd Engelse literatuur en de Europese muziektraditie te bestuderen. Hij ging naar de Universiteit van Atlanta, in de hoop dat de opleiding die hij daar kreeg zou kunnen worden gebruikt om de belangen van de Afro-Amerikanen te bevorderen. Na zijn afstuderen nam hij een baan aan als directeur van een middelbare school in Jacksonville.
In 1900 schreef hij het lied “Lift Every Voice and Sing” ter gelegenheid van de verjaardag van Lincoln; het lied was immens populair in de zwarte gemeenschap, en werd bekend als het “Negro National Anthem”. Johnson verhuisde in 1901 naar New York om samen te werken met zijn broer Rosamond, een componist; nadat hij enig succes had geboekt als songwriter voor Broadway, besloot hij in 1906 om een baan aan te nemen als Amerikaans consul in Venezuela. Terwijl hij in dienst was van het corps diplomatique, liet Johnson gedichten publiceren in The Century Magazine en The Independent.
In 1912 publiceerde Johnson anoniem zijn roman The Autobiography of an Ex-Colored Man (French and Company), het verhaal van een musicus die zijn zwarte wortels afwijst voor een leven van materieel comfort in de blanke wereld. Het boek verkent de kwestie van raciale identiteit in de twintigste eeuw, een gemeenschappelijk thema voor de schrijvers van de Harlem Renaissance.
Met zijn talent om mensen van verschillende ideologieën te overtuigen samen te werken voor een gemeenschappelijk doel, werd Johnson in 1920 de nationale organisator voor de National Association for the Advancement of Colored People (NAACP). Hij redigeerde The Book of American Negro Poetry (Harcourt Brace, 1922), een belangrijke bijdrage aan de geschiedenis van de Afro-Amerikaanse literatuur. Zijn dichtbundel God’s Trombones (Viking Press, 1927) werd beïnvloed door zijn indrukken van het landelijke Zuiden, opgedaan tijdens een reis die hij maakte naar Georgia toen hij eerstejaars was op de universiteit. Het was deze reis die zijn interesse in de Afro-Amerikaanse volkstraditie aanwakkerde.
James Weldon Johnson overleed op 26 juni 1938.