Iako se smatra da je mafija nastala na Siciliji u 19. stoljeću, neki povjesničari smatraju da su korijeni mafije ili barem njezino ime povezani s događajem koji se 31. ožujka 1282. zbio na Siciliji. Tada je buknula pobuna protiv kralja Karla I. Roberta Anžuvinca koji je 1266. preuzeo vlast nad Sicilijom. Pobuna je označila početak “Rata sicilijanske večernje” nazvan tako jer je ustanak započeo tijekom večernje mise na Uskrsni ponedjeljak. Prema jednoj legendi, pobuna je započela kada je sicilijanska žena krenula u crkvu tražiti kćer. No, kćer je silovao francuski vojnik, na što je žena izletjela na ulicu vičući: Ma fia! Ma fia! (Mia figlia! Moja kći!).

Prema drugim tumačenjima, krilatica tog organiziranog otpora je bila: “Morte alla Francia Italia anela!” (Smrt Francuskoj od Italije!). Od prvih slova te krilatice je nastala riječ “mafia”. Poslije se riječ “mafija” počela koristiti za označavanje bilo koje organiziranije zločinačke organizacije. Neka tumačenja nastanka pojma mafije korijene nalazi u arapskom jeziku, pa se tako kao predložak spominju arapske riječi “maha” (pećina), “mu’afa” (sigurnost, zaštita), “marfud” (odbačeni) ili “mahjas” (hvalisanje).