Marshall se rodio 1877. u New Yorku. Od osme do devete godine života živio je u Montrealu, Kanadi. Šah je počeo igrati s 10 godina, a već 1890., s 13 godina, bio je vodeći igrač u Montrealu.

Iznenađujuće je osvojio međunarodni turnir 1904. u američkom gradu Cambridge Springse, ispred tadašnjeg svjetskog prvaka Emanuela Laskera.

1907. igrao je meč za svjetskog prvaka protiv Laskera. Lasker ga je deklasirao s rezultatom 8–0 (uz 7 remija). Meč se održavao u četiri američka grada: New Yorku, Philadelphiji, Baltimoreu i Memphisu od 26. siječnja do 8. kolovoza.

Dvije godine kasnije igrao je meč s 20-godišnjim Kubancem Joséom Raúlom Capablancom koji će 12 godina nakon ovog meča postati svjetskim prvakom pobjedom nad Laskerom. Rezulat je također bio poražavajuć: mladi Kubanac dobio je 8 partija, izgubio samo jednu, uz 14 remija. Marshall je pokazao spremnost da pomogne Kubancu u usponu predloživši njegovo sudjelovanje na jakom međunarodnom turniru u San Sebastiánu 1911., dok su Ossip Bernstein i Aron Nimcovič bili protiv. Capablanca je Marshallovom pozivnicom zaslužio igrati i na kraju osvojio turnir, iako Lasker nije igrao.

U slavnom turniru u Sankt Peterburgu 1914. Marshall je završio peti.

Na turniru u New Yorku 1918. po prvi puta je odigrao gambit u španjolskoj partiji (kasnije nazvanim po njemu) protiv Capablance, koji je izvrsnom obranom uspio odbiti Marshallove napade i dobiti partiju. Capablanca je ovu partiju anotirao u svojem djelu Moja šahovska karijera.

1920. osvojio je Američki šahovski kongres. Vodio je Sjedinjene Države do četiri zlatne medalje na četiri šahovske olimpijade.

1936. titulu američkog prvaka preuzeo je Samuel Reshevsky, čudo od djeteta, koji će kasnije voditi bitku za prvog čovjeka američkog šaha protiv legendarnog Bobbyja Fischera.