Holyfield forsøger at blive den første nogensinde 4 gang-verden-sværvægter-mester, en bedrift han succseeded i med en nær punkter vinde mod den negative Ruiz. Mange sagde, at Evander var så godt som færdig, og skulle trække sig tilbage på toppen, men i stedet står han Ruiz to gange mere, taber en og tegne den sidste. The Chase for anden titel I: Næste kom tidligere Lewis beater Hasim Rahman, en kamp endte i en teknisk sejr for Evander efter et sammenstød mellem hoveder forlod Rahman med en grim klump på hans hoved (billeder kan findes Google, hvis du virkelig ønsker at se det).
Kampen var en eliminator for WBA titel, mærkeligt var der ingen kamp for WBA titel til følge, men en for den ledige IBF titel. Kampen for IBF titel var imod Chris "Rapid Fire" Byrd, en fyr, der mange tror ville have gjort en vidunderlig cruiserweight, og havde startet sin karriere nærmere super mellemvægt grænse (han debuterede på 169, den SMW grænse er 168). Evander tabte dette til den smarte Byrd ved enstemmig punkter beslutning.
To flere tab på flugt gør det til en hatrick: Evander gik derefter til ansigt James Toney, selv en tidligere Mellemøsten, Supermiddle vægt, Let tung (ja jeg inkluderer WBU), cruiservægt og sværvægt (ja jeg inkluderer IBA). Bliver TKO'd i det 9. med hans hjørne kaste håndklædet i. Derefter kom Larry Donald, en Evander modstander i hans prime ville have haft til at bære for kampen for at have varet mere end 6 runder, Larry vundet af UD og follwing dette NYSAC (staten New York Athletic Udvalg) rovked hans liscence, med andre større stater efter.
Dancing med stjernerne: I 2005 Evander trådte USA version af Vild med dans og kom femte med sin partner Edyta sliwinska (et show, som andre boksere mærkeligt har været i så godt, med Kostya Tszyu og Floyd Mayweather Jr også optræder). Efter populariteten af denne syntes han at genvinde sin liscence, at han havde mistet for "dimishing