w 1925 roku, jako założyciel Bractwa śpiących tragarzy samochodowych, Randolph rozpoczął organizowanie tej grupy czarnych pracowników i, w czasie, gdy połowa oddziałów Amerykańskiej Federacji Pracy (AFL) zakazała Murzynom członkostwa, wziął swój związek do AFL. Pomimo sprzeciwu, zbudował pierwszy udany Czarny Związek Zawodowy; Bractwo wygrało swój pierwszy duży kontrakt z firmą Pullman w 1937 roku., W następnym roku Randolph usunął swój związek z AFL w proteście przeciwko jego braku walki z dyskryminacją w jej szeregach i wziął Bractwo do nowo utworzonego Kongresu Organizacji Przemysłowych (CIO). Następnie powrócił do kwestii czarnoskórego zatrudnienia w rządzie federalnym i w przemyśle z kontraktami federalnymi. Ostrzegł Presa. Franklin D. Roosevelt, że poprowadzi tysiące czarnych w marszu protestacyjnym na Waszyngton, D. C.,; Roosevelt, w dniu 25 czerwca 1941 r., wydał zarządzenie wykonawcze 8802, zakazujące dyskryminacji w przemyśle obronnym i urzędach federalnych i tworzenie Komitetu uczciwych praktyk zatrudnienia. Po II Wojnie Światowej Randolph założył Ligę nieposłuszeństwa obywatelskiego przeciwko segregacji wojskowej, co doprowadziło do wydania przez Pres. Harry S. Truman 26 lipca 1948 r., dekret wykonawczy 9981, zakazujący segregacji rasowej w Siłach Zbrojnych.
Kiedy AFL połączyła się z CIO w 1955 roku, Randolph został wiceprezesem i członkiem Rady Wykonawczej połączonej organizacji., Był pierwszym przewodniczącym (1960-66) Negro American Labor Council, utworzonej przez Randolpha i innych do walki z dyskryminacją w AFL-CIO.
W echo swojej działalności z 1941 roku, Randolph był dyrektorem marszu na Waszyngton dla pracy i wolności, który przyniósł ponad 200,000 osób do stolicy w dniu 28 sierpnia 1963 roku, aby zademonstrować poparcie dla praw obywatelskich dla czarnych. Dwa lata później utworzył A., Philip Randolph Institute for community leaders to study the causes of poverty. Cierpiąc na przewlekłą chorobę, zrezygnował z kierowania Bractwem śpiących tragarzy samochodowych w 1968 roku i wycofał się z życia publicznego.