Rođen je kao Peter Johann Weißmüller u predgrađu današnjeg Temišvara, tada u Austro-Ugarskoj, danas Rumunjska, mada postoje indicije da je rođen u banatskom selu Međa, danas u Srbiji. Ubrzo nakon njegovog rođenja obitelj je emigrirala u SAD. Već od ranih dječačkih dana najradije provodi dane plivajući na jezeru Michigan, u Chicagu gdje je živio.

Weissmüller se nakon plivačke karijere kratko bavio promotivnim aktivnostima na plivačkim revijama i predstavama. No vrlo brzo je njegov potencijal primjećen u filmskoj industriji, te je postao profesionalni glumac. On je šesti glumac u povijesti filma kojem je dodijeljena uloga strip-junaka Tarzana, koju je tumačio u dvanaest tada vrlo uspješnih filmskih hitova. Njegova pojava, poznati urlik te uspješni filmovi su doveli do toga da se tog glumca i danas smatra najuspješnijim interpretatorom Tarzana.

Johnny Weissmüller je umro u 80. godini života u meksičkom gradu Acapulco, gdje je i pokopan. Navodno je prilikom spuštanja lijesa u grob, tri puta puštena snimka njegovog karakterističnog Tarzanovog glasanja, i to po njegovoj vlastitoj želji izraženoj prije smrti.