Nacido el 17 de junio de 1871 en Jacksonville, Florida, James Weldon Johnson fue animado por su madre a estudiar literatura inglesa y la tradición musical europea. Asistió a la Universidad de Atlanta, con la esperanza de que la educación que recibió allí pudiera servir para promover los intereses de los afroamericanos. Después de graduarse, aceptó un trabajo como director de escuela secundaria en Jacksonville.
En 1900, escribió la canción «Lift Every Voice and Sing» con motivo del cumpleaños de Lincoln; la canción fue inmensamente popular en la comunidad negra, y se conoció como el «Himno Nacional Negro». Johnson se trasladó a Nueva York en 1901 para trabajar con su hermano Rosamond, compositor; tras alcanzar cierto éxito como compositor de canciones para Broadway, decidió en 1906 aceptar un trabajo como cónsul de Estados Unidos en Venezuela. Mientras trabajaba en el cuerpo diplomático, Johnson publicó poemas en The Century Magazine y The Independent.
En 1912, Johnson publicó de forma anónima su novela The Autobiography of an Ex-Colored Man (French and Company), la historia de un músico que rechaza sus raíces negras por una vida de confort material en el mundo blanco. El libro explora la cuestión de la identidad racial en el siglo XX, un tema común para los escritores del Renacimiento de Harlem.
Con su talento para persuadir a personas de diferentes ideologías a trabajar juntos por un objetivo común, Johnson se convirtió en el organizador nacional de la Asociación Nacional para el Avance de las Personas de Color (NAACP) en 1920. Editó The Book of American Negro Poetry (Harcourt Brace, 1922), una importante contribución a la historia de la literatura afroamericana. Su libro de poesía God’s Trombones (Viking Press, 1927) se vio influenciado por sus impresiones del sur rural, extraídas de un viaje que realizó a Georgia cuando era estudiante de primer año en la universidad. Fue este viaje el que despertó su interés por la tradición popular afroamericana.
James Weldon Johnson murió el 26 de junio de 1938.