In Barcelona trainierte Byrd auch die künftigen Weltmeister Vernon Forrest, Raul Marquez, Montell Griffin, Tim Austin und die künftigen Titelanwärter Danell Nicholson und Larry Donald, bevor er als Trainer seines Sohnes Chris Byrd Profi wurde.
An der Seite seiner Frau Rose, die seine Assistentin in Chris' Ecke war, erzielte Joe Byrd einige der bemerkenswertesten Erfolge im Boxsport. Chris Byrd wurde Profi im Supermittelgewicht, bevor er in seinem vierten Profikampf ins Schwergewicht aufstieg. Mit seinem Vater an seiner Seite gewann Byrd in seiner sechzehnjährigen Karriere zweimal den USBA-, WBO- und IBF-Titel im Schwergewicht.
Byrd trainierte auch seine beiden anderen Söhne, Tim Byrd (10-2-1, 9 KOs) und Pat Byrd (16-14, 6 KOs), sowie seine Tochter Tracy Byrd. Tracy Byrd hat in ihrer jahrzehntelangen Karriere, die 24 Profikämpfe umfasste, die Titel der IBA, IWBF, IFBA und WIBO gewonnen.
Während ihrer langen Profikarriere hat Byrd mit vielen zukünftigen Weltmeistern wie Andre Dirrell zusammengearbeitet.
Als junger Mann war Byrd ein erfolgreicher Boxer und gewann 1962 den Golden Glove-Titel im Schwergewicht in Michigan. Im Jahr 1997 wurde Byrd in die Greater Flint African American Hall of Fame sowie in die Greater Flint Sports Hall of Fame aufgenommen. Im Jahr 2011 wurde Byrd in die Gold Glove Hall of Fame aufgenommen.
Joes Frau, Rose Byrd, verstarb 2015 im Alter von 75 Jahren.