Nascido em 17 de junho de 1871, em Jacksonville, Florida, James Weldon Johnson foi encorajado por sua mãe a estudar literatura inglesa e a tradição musical européia. Frequentou a Universidade de Atlanta, com a esperança de que a educação que lá recebeu pudesse ser usada para promover os interesses dos afro-americanos. Depois de se formar, ele aceitou um emprego como diretor de escola secundária em Jacksonville.
Em 1900, ele escreveu a canção “Lift Every Voice and Sing” por ocasião do aniversário de Lincoln; a canção era imensamente popular na comunidade negra, e ficou conhecida como o “Hino Nacional Negro”. Johnson mudou-se para Nova York em 1901 para trabalhar com seu irmão Rosamond, um compositor; depois de alcançar algum sucesso como compositor da Broadway, ele decidiu, em 1906, aceitar um emprego como cônsul dos Estados Unidos na Venezuela. Enquanto trabalhava no corpo diplomático, Johnson teve poemas publicados na The Century Magazine e The Independent.
Em 1912, Johnson publicou anonimamente seu romance A Autobiografia de um Ex-Colorado (Francês e Companhia), a história de um músico que rejeita suas raízes negras para uma vida de conforto material no mundo branco. O livro explora a questão da identidade racial no século XX, um tema comum aos escritores do Harlem Renaissance.
Com seu talento para persuadir pessoas de ideologias diferentes a trabalharem juntas por um objetivo comum, Johnson tornou-se o organizador nacional da Associação Nacional para o Progresso das Pessoas de Cor (NAACP) em 1920. Editou The Book of American Negro Poetry (Harcourt Brace, 1922), uma grande contribuição para a história da literatura afro-americana. Seu livro de poesia Trombones de Deus (Viking Press, 1927) foi influenciado por suas impressões sobre o Sul rural, tiradas de uma viagem que ele fez à Geórgia enquanto calouro na faculdade. Foi esta viagem que despertou seu interesse pela tradição popular afro-americana.
James Weldon Johnson morreu em 26 de junho de 1938.