en 1925, en tant que président fondateur de la Brotherhood of Sleeping Car Porters, Randolph a commencé à organiser ce groupe de travailleurs noirs et, à une époque où la moitié des Affiliés de L’American Federation of Labor (AFL) interdisaient aux Noirs d’adhérer, a Malgré l’opposition, il a construit le premier syndicat noir prospère; la confrérie a remporté son premier contrat majeur avec la Pullman Company en 1937., L’année suivante, Randolph a retiré son syndicat de L’AFL pour protester contre son incapacité à lutter contre la discrimination dans ses rangs et a emmené la fraternité dans le Congrès des organisations industrielles (CIO) nouvellement formé. Il est ensuite revenu sur la question de l’emploi des Noirs au gouvernement fédéral et dans les industries ayant des contrats fédéraux. Il a prévenu Pres. Franklin D. Roosevelt qu’il dirigerait des milliers de Noirs dans une marche de protestation sur Washington, DC., Roosevelt, le 25 juin 1941, a publié le décret 8802, interdisant la discrimination dans les industries de la défense et les bureaux fédéraux et créant le Comité des pratiques D’emploi équitables. Après la Seconde Guerre mondiale, Randolph a fondé la Ligue pour la désobéissance civile non violente contre la ségrégation Militaire, ce qui a entraîné la question par Pres. Harry S. Truman le 26 juillet 1948, du Décret 9981, interdisant la ségrégation raciale dans les forces armées.
lorsque L’AFL a fusionné avec le CIO en 1955, Randolph a été nommé vice-président et membre du Conseil exécutif de l’organisation combinée., Il a été le premier président (1960-66) du Negro American Labor Council, formé par Randolph et d’autres pour lutter contre la discrimination au sein de L’AFL-CIO.
En écho à ses activités de 1941, Randolph a été l’un des directeurs de la marche sur Washington pour L’emploi et la liberté, qui a rassemblé plus de 200 000 personnes dans la capitale le 28 août 1963, pour manifester son soutien aux droits civiques des Noirs. Deux ans plus tard, il a formé le A., Philip Randolph Institute for community leaders pour étudier les causes de la pauvreté. Souffrant d’une maladie chronique, il démissionne de la présidence de la Confrérie des porteurs de voitures-lits en 1968 et se retire de la vie publique.