Patterson ville derefter strengen sammen et oplag på 5 sejre (med bemærkelsesværdige modstandere Eddie Machen og George Chuvalo) før en anden verden titel kamp med den mand, der havde taget titlen fra Liston. Muhamed Ali (som var 21-0) slog den tidligere to-tiden mester, trods overbevisende op på punkter lykkedes Ali til at lukke showet med et stop i det 12.
runde, ville en anden tab i en titel kamp for Patterson.He kommer tilbage fra dette tab med 3 KO s (herunder en 4. runde sejr over Henry Cooper), før vender Jerry Quarry i en kamp, der ville ende i et flertal uafgjort. En omkamp med Quarry blev udkæmpet 4 måneder senere med Quarry tage en tæt afgørelse (flertalsafgørelser win) i en del af 8 mand turnering om den ledige WBA titel (strippet fra Ali, da han undlod at møde op til udkast til Vietnam-krigen). Selvom Patterson ville stå Jimmy Ellis (den endelige vinder) i hans følge kamp for en anden chance for at vinde titlen.
Ellis ville slå Patterson over 15 runde afstand i, hvad der ville være en af de sidste store slagsmål i hans career.After tabet Patterson gik på en sejrsrække på 9 kampe, selvom de fleste var imod relativt lavere kvalitet modstandere med kun én enkelt bemærkelsesværdig modstander (Oscar Bonavena som selv var forbi hans bedste, tabt på point). I den sidste kamp for Patterson karriere havde han en omkamp med Muhammed Ali, der ville stoppe ham igen, denne gang på grund af nedskæringer omkring øjnene i 7. round.
A endelige rekord på 55 (40KO s) -8-1 var bare en af de ting Floyd venstre boksning med over hans 20 år karriere. Han hævdede optegnelser at være den yngste verden sværvægter mester (indtil Mike Tyson tog at optage i 1980'erne), var han den første mand til at genvinde titlen, er han stadig den yngste mand til at genvinde titlen (i alderen 25). Han var den første OL-guldvinder at vinde en verden sværvægter titel (og handle efterfulgt af Ali, Frazier og Foreman i 1970'erne) og den første OL-guldvinder at besejre en anden guldmedaljevinder i en sværvægter titel kamp.
Hans rekord i verden titel slagsmål var: 8-5 med sine hersker der varer 4 forsvar og 2 forsvar. Hans tab alle kom imod højt ratede krigere i Joey Maxim, Ingemar Johansson, Sonny Liston (to gange), Muhammad Ali (to gange), Jerry Quarry og Jimmy Ellise.
Som en professionel Floyd havde