Billie Holiday rođena je 7. travnja 1915. godine u Philadelphiji kao Eleonora Fagan Harris. Odrasla je u Baltimoreu sa svojom majkom Sarahom ”Sadie” Harris koja ju je veći dio djetinjstva ostavljala na brigu rodbini. Iako joj je na rodnom listu kao otac naveden Frank DeVies, sumnja se da joj je otac zapravo bio jazz glazbenik Clarence Holiday.

Zbog čestih izostanaka iz škole, ali i silovanja koje je pretrpjela s 11 godina, Holiday je u nekoliko navrata bila poslana u ustanovu za problematične djevojčice u Baltimoreu. Prije svoje 12. godine napustila je školu i počela obavljati različite poslove. Jedno vrijeme radila je s majkom u bordelu, isprva kao čistačica, a potom i kao prostitutka.

Billie Holiday živjeti će 44 godine i teret diskriminacije uvijek će vući sa sobom. Bilo je to doba rasizma, doba razlike među ljudima, i većina je od toga bolovala. Ulazila je na sporedni ulaz, jela odvojeno od svog orkestra, spavala u autobusu, ali mjesto na sceni joj nitko nije mogao oduzeti. Bilo je njeno i protiv toga se nije išlo. Ne zato što nisu htjeli, već jednostavno nisu mogli… jer kad Billie pjeva, publika plače.