I 1925, som grunnlegger av og president av Brotherhood of Sleeping Bil Bærere, Randolph begynte å organisere gruppen av Svarte arbeidere, og på en tid da halvparten av filialer av American Federation of Labor (AFL) sperret Svarte fra medlemskap, tok hans union i AFL. Til tross for motstand, han bygget den første vellykkede Svart trade union; brorskapet vant sin første store kontrakten med Pullman Selskapet i 1937., Det følgende året, Randolph fjernet hans union fra AFL i protest mot dens manglende evne til å bekjempe diskriminering i sine rekker og tok brorskap i det nyopprettede Kongressen i Industrielle Organisasjoner (CIO). Han returnerte til spørsmålet om Svart arbeid i den føderale regjeringen og i bransjer med føderale kontrakter. Han advarte Pres. Franklin D. Roosevelt, og at han ville føre tusenvis av Svarte i en protest mars på Washington, D.C.,; Roosevelt, den 25. juni 1941, utstedt Ordre 8802, sperring diskriminering i forsvaret bransjer og føderale byråer og skape Rettferdig Sysselsetting Praksis Komiteen. Etter andre Verdenskrig, Randolph grunnla League for ikke-voldelig Sivil Ulydighet Mot Militære Segregering, noe som resulterer i utstedelse av Pres. Harry S. Truman, den 26. juli 1948, i Executive Order 9981, som forbyr etnisk segregering i de væpnede styrker.
Når AFL sammen med INVESTERINGSDIREKTØR i 1955, Randolph ble gjort til en visepresident og medlem av executive council av de samlede organisasjon., Han var den første president (1960-66) av Negro American Arbeidskraft Råd, dannet av Randolph og andre til å bekjempe diskriminering i AFL-CIO.
I et ekko av sine aktiviteter i 1941, Randolph var en direktør i Marsjen mot Washington for Arbeidsplasser og Frihet, noe som førte til mer enn 200 000 mennesker til hovedstaden 28. August 1963, for å vise støtte til det sivile rettigheter for Svarte. To år senere, han dannet A., Philip Randolph Institutt for samfunnet ledere til å studere årsaker til fattigdom. Lider kronisk sykdom, gikk han av hans presidentskap av Brotherhood of Sleeping Bil Bærere i 1968 og har trukket seg tilbake fra det offentlige liv.