1925, som grundande president för broderskap av sovande bil Porters, började Randolph organisera den gruppen av svarta arbetare och vid en tidpunkt då hälften av medlemsförbunden i American Federation of Labor (AFL) spärrade svarta från medlemskap, tog sin fackförening i AFL. Trots oppositionen byggde han den första framgångsrika svarta fackföreningen; brödraskapet vann sitt första stora kontrakt med Pullman Company 1937., Följande år tog Randolph bort sin fackförening från AFL i protest mot dess misslyckande att bekämpa diskriminering i sina led och tog brödraskapet i den nybildade kongressen för industriella organisationer (CIO). Han återvände sedan till frågan om svart anställning i den federala regeringen och i industrier med federala kontrakt. Han varnade Pres. Franklin D. Roosevelt att han skulle leda tusentals svarta i en protestmarsch mot Washington, DC,; Roosevelt, den 25 juni 1941, utfärdade verkställande Order 8802, vilket hindrade diskriminering inom försvarsindustrin och federala byråer och skapade Fair Employment Practices Committee. Efter andra världskriget grundade Randolph ligan för icke-våldsam Civil olydnad mot militär Segregation, vilket resulterade i frågan av Pres. Harry S. Truman Den 26 juli 1948, av verkställande Order 9981, förbud mot rassegregation i väpnade styrkor.
när AFL slogs samman med CIO 1955, blev Randolph vice president och medlem av verkställande rådet för den kombinerade organisationen., Han var den första presidenten (1960-66) Negro American Labor Rådet, som bildas av Randolph och andra för att bekämpa diskriminering inom AFL-CIO.
i ett eko av hans verksamhet 1941 var Randolph chef för marschen på Washington för jobb och frihet, vilket förde mer än 200 000 personer till huvudstaden den 28 augusti 1963 för att visa stöd för medborgerliga rättigheter för svarta. Två år senare bildade han A., Philip Randolph Institute for community leaders att studera orsakerna till fattigdom. Efter att ha lidit kronisk sjukdom avgick han som ordförande för broderskapet Sleeping Car Porters 1968 och drog sig tillbaka från det offentliga livet.