曼德拉在1944年，和擔任護士的艾芙琳完婚，夫妻倆育有2子2女，但婚姻只維持13年。隨著曼德拉全心投入反隔離運動，厭惡政治的艾芙琳把重心轉向宗教，成為基督教「耶和華見證人」的忠實信徒，與曼德拉漸行漸遠。
1957年，艾芙琳指控曼德拉在外有小三，兩人勞燕分飛，帶著孩子的艾芙琳開雜貨店為生。1990年代初期，曼德拉出獄後，艾芙琳因批判前夫多次登上媒體。她曾對記者咆哮：「一個犯下通姦、拋妻棄子的男人憑什麼被比為基督？對尼爾森的造神運動太超過了，他只是個平常人。」
艾芙琳在1998年再嫁一名商人，2004年過世。曼德拉親自出席喪禮，他的第二、第三任老婆溫妮及葛拉薩也都在場。
曼德拉和艾芙琳離婚次年，與美麗又剛強的溫妮再婚。溫妮是約翰尼斯堡的第一位黑人社工，但婚後4年曼德拉便被捕，關進大西洋上的羅本島。
溫妮頑強支持牢中的夫婿，不但多次被捕，蹲過苦牢，忍受22年無法探望夫婿之苦，辛苦撫養子女，因此備受黑人愛戴，封她為「黑人母親」和「國母」。
但跋扈強悍的溫妮，與曼德拉溫和的政治立場並不一致。1988年，她涉及教唆保鑣綁架殺害被白人警察收買的14歲黑人少年賽皮，引發軒然大波。儘管鐵證如山，但曼德拉仍選擇相信老婆。1991年，溫妮只被判定綁架賽皮，6年刑期在上訴後降為罰款。
曼德拉出獄後，溫妮更和年輕情人出雙入對，兩人終於分居，接著在1996年離婚。分居前溫妮寫信給年紀僅她一半的律師小男友達里說，由於他倆的地下情，曼德拉已經5個月不和她說話，她露骨表達對達里的癡迷，「我一直告訴你家裡的情況持續惡化，但你毫不關切，只顧著夜夜和女人同歡，我沒有那麼傻。」
溫妮還惹出不少官司。2003年被控竊盜和詐欺；2008年又因為蓄意抵賴孫女的學費，遭校方告上法院。雖然爭議頗多，但溫妮不但入閣也當選國會議員。
曼德拉和溫妮正式離婚前，曾在1995年向反種族隔離鬥士安米娜.卡佳莉亞求婚，但被女方以「我要做自己，況且我對剛過世的亡夫滿懷思念」為由拒絕。
1998年7月，曼德拉在80大壽當天第三度成婚，新娘是莫三比克總統馬謝爾的遺孀葛拉薩。精通德、法、西、義、葡、英等語言的葛拉薩，是國際知名的婦女與兒童人權運動者，曾經入閣，婚後在聯合國服務。
馬謝爾1986年死於空難，葛拉薩嫁給大她28歲的曼德拉，也讓葛拉薩成為非洲史上、首位擔任兩個不同國家第一夫人的女性。