en 1925, como presidente fundador de la Brotherhood of Sleeping Car Porters, Randolph comenzó a organizar ese grupo de trabajadores negros y, en un momento en que la mitad de los afiliados de la American Federation of Labor (AFL) prohibieron a los negros ser miembros, llevó su sindicato a la AFL. A pesar de la oposición, construyó el primer sindicato negro exitoso; la Hermandad ganó su primer contrato importante con la Pullman Company en 1937., Al año siguiente, Randolph retiró su sindicato de la AFL en protesta por su fracaso en la lucha contra la discriminación en sus filas y llevó a la Hermandad al recién formado Congreso de organizaciones industriales (CIO). Luego volvió a la cuestión del empleo negro en el gobierno federal y en industrias con contratos federales. Advirtió a Pres. Franklin D. Roosevelt que encabezaría a miles de negros en una marcha de protesta en Washington, D. C.,; Roosevelt, on June 25, 1941, issued Executive Order 8802, barring discrimination in defense industries and federal bureaus and creating the Fair Employment Practices Committee. Después de la Segunda Guerra Mundial, Randolph fundó la liga para la desobediencia civil no violenta contra la segregación militar, lo que resultó en el problema del Pres. Harry S. Truman el 26 de julio de 1948, de la Orden Ejecutiva 9981, prohibiendo la segregación racial en las Fuerzas Armadas.
Cuando la AFL se fusionó con el CIO en 1955, Randolph fue nombrado vicepresidente y miembro del Consejo Ejecutivo de la organización combinada., Fue el primer presidente (1960-66) del negro American Labor Council, formado por Randolph y otros para luchar contra la discriminación dentro de la AFL-CIO.
en un eco de sus actividades de 1941, Randolph fue director de la Marcha sobre Washington por el empleo y la libertad, que llevó a más de 200.000 personas a la capital el 28 de agosto de 1963, para demostrar su apoyo a los derechos civiles de los negros. Dos años más tarde, formó la A., Philip Randolph Institute for community leaders to study the causes of poverty. Sufriendo una enfermedad crónica, renunció a su presidencia de la Hermandad de los cargadores de coches-cama en 1968 y se retiró de la vida pública.