1871年6月17日、フロリダ州ジャクソンヴィルに生まれる。母親から英文学とヨーロッパ音楽の伝統を学ぶよう勧められ、1971年4月、ジョンソンに入社。 そこで受けた教育をアフリカ系アメリカ人の利益のために役立てたいと願い、アトランタ大学に入学した。 1900年、リンカーンの誕生日にちなんで「Lift Every Voice and Sing」という曲を書き、黒人社会で絶大な人気を博し、「黒人国歌」として知られるようになった。 ジョンソンは1901年にニューヨークに移り、作曲家である兄のロザモンドのもとで働いた。ブロードウェイのソングライターとしてある程度の成功を収めた後、1906年にベネズエラの米国領事として仕事をすることに決めた。 1912年、ジョンソンは匿名で小説『ある元色男の自叙伝』（フレンチ・アンド・カンパニー社）を出版。 この本は、ハーレム・ルネッサンスの作家たちに共通するテーマである、20世紀における人種的アイデンティティの問題を探求している。
異なる思想を持つ人々を説得し、共通の目標のために協力させる才能を持つジョンソンは、1920年に全米有色人地位向上協会（NAACP）の全国組織となる。 アフリカ系アメリカ人文学の歴史に大きく貢献した『The Book of American Negro Poetry』（ハーコート・ブレイス社、1922年）を編集した。 詩集『神のトロンボーン』（ヴァイキング・プレス、1927年）は、大学1年のときに行ったジョージア州への旅行で得た南部の農村の印象に影響を受けたものである。 この旅が、アフリカ系アメリカ人の民俗的伝統に対する彼の興味に火をつけたのです。
James Weldon Johnson は、1938年6月26日に亡くなりました。