Kad mu je bilo 26 godina, Edgar Allan Poe oženio se potajno svojom bliskom rođakinjom – Virginijom Clemm – kojoj je bilo samo 13 godina. upola manje nego njemu. Ona mu je bila sestrična, jer su njegov otac i njena majka bili brat i sestra. Do danas nije potpuno razjašnjeno zašto je točno došlo do tog neobičnog braka. Naime, čak ako u to vrijeme i nije bila neobična ženidba tako bliskih rođaka, ipak je mladenka s 13 godina bila neuobičajeno mlada. Nažalost, ona je mlada i umrla, s tek 24 godine, od tuberkuloze. Postoji teorija da su Poeove mračne i melankolične pjesme, Gavran, Annabel Lee,  nastale iz iskustva s njenom bolešću i umiranjem.

Prema nekim navodima nije se oženio zato što se u nju ludo zaljubio već zato da je spriječi da se uda za drugoga. Naime, on je već neko vrijeme živio u kućanstvu s njom i njezinom majkom. Kad se Virginiji počeo udvarati drugi muškarac, Poe je počeo paničariti. Bilo mu je ugodno živjeti s njih dvije i počeo je njihovu kuću smatrati domom. Patio je od traume ostavljanja cijeli život i nije želio da se njihova idilična zajednica raspadne. Ponudio je sestrični brak. Navodno on je bio više prijateljski nego romantičan. Neki čak smatraju da nikad nije bio ni konzumiran.

U skladnom braku ipak su proveli 11 godina, a kad je ona umrla, Poe je upao u strašnu depresiju i očaj. Pokušavao se i ubiti. Njegova najpoznatija pjesma Annabel Lee posvećena je upravo njoj. Tada Poe bjesomučno pije, konzumira opijum, u mnogim ženama traži utjehu. To je, doduše, radio cijeli život, vjerojatno i zbog toga što majčinsku ljubav nikad nije osjetio. Nakon smrti supruge obećava brak čak trima ženama.

Dvije godine nakon smrti žene, u 40. godini života, umire i on. Pokopan je na lokalnom groblju u Baltimoreu kraj voljene Virginije.