Nel 1925, come presidente fondatore della Brotherhood of Sleeping Car Porters, Randolph iniziò ad organizzare quel gruppo di lavoratori neri e, in un momento in cui metà degli affiliati della American Federation of Labor (AFL) escludeva i neri dall’appartenenza, prese la sua unione nell’AFL. Nonostante l’opposizione, costruì il primo sindacato nero di successo; la fratellanza vinse il suo primo importante contratto con la Pullman Company nel 1937., L’anno seguente, Randolph rimosse il suo sindacato dall’AFL in segno di protesta contro la sua incapacità di combattere la discriminazione nei suoi ranghi e portò la fratellanza nel nuovo Congresso delle Organizzazioni Industriali (CIO). Poi è tornato sulla questione del lavoro nero nel governo federale e nelle industrie con contratti federali. Ha avvertito Pres. Franklin D. Roosevelt che avrebbe guidato migliaia di neri in una marcia di protesta su Washington, DC.,; Roosevelt, il 25 giugno 1941, emise l’Ordine esecutivo 8802, escludendo la discriminazione nelle industrie della difesa e negli uffici federali e creando il Fair Employment Practices Committee. Dopo la seconda guerra mondiale, Randolph fondò la Lega per la disobbedienza civile nonviolenta contro la segregazione militare, con conseguente problema da Pres. Harry S. Truman il 26 luglio 1948, dell’Ordine Esecutivo 9981, che proibiva la segregazione razziale nelle forze armate.
Quando l’AFL si fuse con il CIO nel 1955, Randolph fu nominato vicepresidente e membro del consiglio esecutivo dell’organizzazione combinata., Fu il primo presidente (1960-66) del Negro American Labor Council, formato da Randolph e altri per combattere la discriminazione all’interno dell’AFL-CIO.
In un’eco delle sue attività del 1941, Randolph è stato un direttore della Marcia su Washington per il lavoro e la libertà, che ha portato più di 200.000 persone nella capitale il 28 agosto 1963, per dimostrare il sostegno per i diritti civili per i neri. Due anni dopo, ha formato la A., Philip Randolph Istituto per i leader della comunità per studiare le cause della povertà. Soffrendo di una malattia cronica, si dimise dalla sua presidenza della Confraternita dei facchini dormienti nel 1968 e si ritirò dalla vita pubblica.