tilbage til ringen i 1981, selvom han kun lykkedes en 10 rund uafgjort med Floyd Jumbo Cummings før pension igen, var der rygter om, at comeback var et forsøg på at lokke Ali i en fjerde kamp. Den comeback sluttede enten med lodtrækningen til Cummings eller med Alis tab til Trevor Berbick 8 dage senere (afhængig af den egentlige årsag til comeback.
Despite hans sidste rekord på 32-4-1, er det usandsynligt, at 5 fod 11 Frazier nogensinde vil blive husket som en rigtig top 10 sværvægter, dette til trods for sejre over Ali, Quarry (to gange), Ellis (to gange), Bonavena (to gange) og Chuvalo.