Vuonna 1925, kuten perustajajäsen presidentti Veljeskunnan Nukkumassa Auton Vahtimestarit, Randolph alkoi järjestää, että ryhmä Musta työntekijöitä ja, samaan aikaan, kun puolet kumppanit American Federation of Labor (AFL) vanhentunut Mustat jäsenyys, otti unionin osaksi AFL. Vastustuksesta huolimatta hän rakensi ensimmäisen menestyksekkään mustan ammattiliiton; veljeskunta sai ensimmäisen suuren sopimuksensa Pullman Companyn kanssa vuonna 1937., Seuraavana vuonna, Randolph poistaa hänen unioni AFL protestina sille, ettei torjua syrjintää sen riveissä ja otti veljeskunnan osaksi vastaperustetun Kongressin Industrial Järjestöt (CIO). Sitten hän palasi kysymykseen, Musta työllisyys liittovaltion hallituksen ja teollisuuden kanssa liittovaltion sopimuksia. Hän varoitti Presiä. Franklin D. Roosevelt kertoi johtavansa tuhansia mustia protestimarssilla Washingtonissa.,; Roosevelt, 25. kesäkuuta 1941, antoi Executive Order 8802, esto syrjintää puolustus teollisuuden ja liittovaltion toimistot ja luoda Oikeudenmukaisia työkäytäntöjä Komitea. Toisen maailmansodan jälkeen, Randolph perustettu Liigan Väkivallaton kansalaistottelemattomuus Vastaan Armeijan Erottelu, jolloin kysymys Pres. Harry S. Truman 26. heinäkuuta 1948, toimeenpanevan järjestyksen 9981, joka kielsi rotuerottelun asevoimissa.
Kun AFL sulautui CIO vuonna 1955, Randolph oli tehnyt varapuheenjohtaja ja jäsen toimeenpanevan neuvoston yhdistetyn organisaation., Hän oli ensimmäinen presidentti (1960-66) Negro American Labor-Neuvosto, joka muodostuu Randolph ja muut taistella syrjintää sisällä AFL-CIO.
kaiku toimintaansa 1941, Randolph oli johtaja Maaliskuu Washington Työllisyyttä ja Vapaus, joka toi yli 200 000 henkilöä pääoman 28. elokuuta 1963, osoittamaan tukea kansalaisoikeuksia ja Mustat. Kaksi vuotta myöhemmin hän perusti A., Philip Randolph Institute for community leaders to study the causes of poverty. Kroonisesta sairaudesta kärsivänä hän erosi vuonna 1968 nukkuvien autojen kantajien veljeskunnan puheenjohtajuudesta ja vetäytyi julkisuudesta.