1964年5月，阿里第一次踏上了非洲的土地，在那里，他受到了各国政府元首级别的接待，也感受到了当地人民超乎寻常的热情。
 
从非洲返回芝加哥后，阿里与大他一岁的黑人女孩桑吉·罗伊相识。1964年8月14号，两人举行了婚礼。

在接受电视采访时，记者问：“那么你是不是认为在你取得了这个(拳王)称号之后，你的个性改变了呢？”
 
阿里回答：“是啊，我有点放松了，或者说变得稳定了。你们能看到我有一个十分可爱的妻子，我不再像我过去那样说话了，她不喜欢我说得太多。她告诉我要安静，行动能说明一切。她说我不用再说什么了，她自己也不喜欢说话，她只喜欢听。”

桑吉·罗伊是阿里的第一任妻子，她说：“我遇见阿里好像是在一个星期三，还是那一天的下午，然后我就再没有离开过他。他在我走进他家的门后五分钟，就要求我嫁给他。我没有想过这个，我说‘好吧！’”
 
5月25号，阿里再次迎战索尼·利斯顿，不过这一次，状态正佳的阿里没有浪费时间，他仅用了一个回合，就将对手击倒在地，首次卫冕成功。尽管取得了胜利，但场内的观众却对阿里发出了嘘声。在当时的美国，黑人作为少数民族，受到当局的歧视，而穆斯林黑人则成了弱势中的弱势，因此，从阿里改名字的那天开始，他就成了当时美国主流社会的叛徒。
 
阿里接下来的对手是帕特森，他是当时唯一一位曾经两次作为挑战者，登上拳王宝座的拳手。
 
在赛前电视采访时，阿里说：“我喜欢给我的对手起外号。你知道兔子是一种连自己的影子都非常害怕的动物，一旦被逼到角落，就僵住了、动弹不了了，所以我就叫帕特森“兔子”，因为他就有兔子的这种特性。”
 
前重量级拳王弗洛伊德·帕特森说：“我只想和他打，不是为了钱，就是想夺回冠军，让它属于全美国，而不仅仅属于穆斯林黑人。”
 
根据当时的规则，每一场职业拳击比赛15个回合，在顶住了阿里前11回合的猛烈进攻后，帕特森在第12回合由于体力不支，失去了还手能力。裁判终止了比赛，阿里再次蝉联拳王的称号。但全场的观众，几乎都不站在阿里这边。
 
就在实现了三连冠的阿里傲视职业拳坛的同时，他的家庭出现了问题。由于感情不和，阿里与罗伊在1966年1月10号离婚，结束了这场不到一年半的婚姻。
 
2003年好莱坞出品的电影《拳王阿里》忠实地再现了这一幕。