V roce 1925, jako zakládající prezident Bratrstva Spací Vůz Nosiči, Randolph začal organizovat, že skupina Černých pracovníků a v době, kdy polovina pobočky Americké Federace Práce (AFL) vyloučen Černoši z členství, vzal unie do AFL. Navzdory opozici vybudoval první úspěšný černý odborový svaz; bratrstvo získalo první velkou smlouvu se společností Pullman v roce 1937., V následujícím roce, Randolph sundal unie z AFL na protest proti jeho selhání v boji proti diskriminaci ve svých řadách a vzal bratrstvo do nově vytvořené Kongres Průmyslových Organizací (CIO). Poté se vrátil k otázce černého zaměstnání ve federální vládě a v průmyslových odvětvích s federálními smlouvami. Varoval Pres. Franklin D. Roosevelt, že by vedl tisíce černochů v protestním pochodu na Washington, D. C.,; Roosevelt, 25. června, 1941, vydal Výkonné nařízení 8802, nedojde-li k diskriminaci v obranném průmyslu a federální úřady a vytváření správných pracovních Postupů Výboru. Po druhé světové válce založil Randolph ligu za nenásilnou občanskou neposlušnost proti vojenské segregaci, což vedlo k problému Pres. Harry S. Truman 26. července 1948 výkonného řádu 9981, který zakazoval rasovou segregaci v ozbrojených silách.
když se AFL v roce 1955 sloučila s CIO, byl Randolph viceprezidentem a členem výkonné rady kombinované organizace., Byl prvním prezidentem (1960-66) černošské Americké rady práce, kterou tvořil Randolph a další, kteří bojovali proti diskriminaci v rámci AFL-CIO.
V echo jeho činnosti 1941, Randolph byl ředitel Pochodu na Washington za Práci a Svobodu, který přinesl více než 200 000 osob do hlavního města 28. srpna, 1963, demonstrovat podporu občanských práv pro Černochy. O dva roky později založil a., Philip Randolph Institute for community leaders ke studiu příčin chudoby. Trpěl chronickými nemocemi, v roce 1968 rezignoval na své předsednictví bratrstva spících nosičů automobilů a odešel z veřejného života.