I 1925, som stiftende formand for Broderskabet for at Sove Bil Dragere, Randolph begyndte at organisere denne gruppe af Sorte arbejdere og i en tid, hvor halvdelen datterselskaber af American Federation of Labor (AFL) spærret Sorte fra medlemskab, tog hans fagforening i AFL. På trods af modstand byggede han den første succesrige sorte fagforening; broderskabet vandt sin første store kontrakt med Pullman Company i 1937., Det følgende år fjernede Randolph sin fagforening fra AFL i protest mod dens manglende bekæmpelse af forskelsbehandling i dens rækker og tog broderskabet ind i den nyoprettede kongres for industrielle organisationer (CIO). Han vendte derefter tilbage til spørgsmålet om Sort beskæftigelse i den føderale regering og i industrier med føderale kontrakter. Han advarede præs. Franklin D. Roosevelt om, at han ville lede tusinder af sorte i en protestmarsch mod D.C.ASHINGTON, DC, Roosevelt udstedte den 25. juni 1941 bekendtgørelse 8802, der udelukker forskelsbehandling i forsvarsindustrien og føderale bureauer og oprettede Fair Employment Practices Committee. Efter Anden verdenskrig grundlagde Randolph ligaen for ikke-voldelig Civil ulydighed mod militær adskillelse, hvilket resulterede i præs. Harry S. Truman den 26. juli 1948 af bekendtgørelse 9981, der forbyder raceadskillelse i de væbnede styrker.
da AFL fusionerede med CIO i 1955, blev Randolph udnævnt til vicepræsident og medlem af Eksekutivrådet for den kombinerede organisation., Han var den første præsident (1960-66) i Negro American Labor Council, dannet af Randolph og andre for at bekæmpe diskrimination inden for AFL-CIO.
i et ekko af hans aktiviteter i 1941 var Randolph direktør for Marts om Washingtonashington for Jobs and Freedom, der bragte mere end 200,000 personer til hovedstaden den 28.August 1963 for at demonstrere støtte til borgerlige rettigheder for sorte. To år senere, han dannede A., Philip Randolph Institute for Fællesskabets ledere til at studere årsagerne til fattigdom. Lidende kronisk sygdom fratrådte han sit formandskab for Brotherhood of Sleeping Car Porters i 1968 og trak sig tilbage fra det offentlige liv.