1925-Ben, mint alapító elnöke, a Testvériség, a hálókocsi Hordárok, Randolph kezdett szervező csoport a Fekete munkások, amikor fél a leányvállalatok, az American Federation of Labor (AFL) tiltva Feketék a tagság, elvitte az uniós be az AFL. Az ellenzék ellenére ő építette az első sikeres fekete szakszervezetet; a testvériség 1937-ben nyerte el első nagy szerződését a Pullman társasággal., A következő évben Randolph eltávolította szakszervezetét az AFL-ből, tiltakozva a soraiban a diszkrimináció elleni küzdelem elmulasztása ellen, és bevette a testvériséget az újonnan alakult ipari szervezetek Kongresszusába (CIO). Ezután visszatért a fekete foglalkoztatás kérdésére a szövetségi kormányban és a szövetségi szerződésekkel rendelkező iparágakban. Figyelmeztette Pres-t. Franklin D. Roosevelt, hogy ő vezetne több ezer feketék egy tiltakozó felvonulás Washington, D. C.,; Roosevelt 1941. június 25-én kiadta a 8802.számú végrehajtási rendeletet, amely megtiltotta a védelmi iparágakban és a szövetségi irodákban a hátrányos megkülönböztetést, és létrehozta a tisztességes foglalkoztatási gyakorlatok Bizottságát. A második világháború után Randolph megalapította a Liga erőszakmentes polgári engedetlenség ellen katonai szegregáció, ami a kérdés Pres. Harry S. Truman 1948. július 26-án, a 9981-es végrehajtó rendből, betiltva a faji szegregációt a fegyveres erőkben.
amikor az AFL 1955-ben egyesült a CIO-val, Randolph az egyesített szervezet végrehajtó Tanácsának alelnöke és tagja lett., Ő volt az első elnöke (1960-66) a Néger Amerikai Munkaügyi Tanácsnak, amelyet Randolph és mások hoztak létre, hogy harcoljanak az AFL-CIO-n belüli diszkrimináció ellen.
az 1941-es tevékenységeinek visszhangjában Randolph a Washington for Jobs and Freedom március igazgatója volt, amely 1963.augusztus 28-án több mint 200 000 személyt hozott a fővárosba, hogy bizonyítsa a feketék polgári jogainak támogatását. Két évvel később megalapította az A., Philip Randolph intézet közösségi vezetők, hogy tanulmányozza az oka a szegénység. Krónikus betegségben szenvedve 1968-ban lemondott az Alvókocsi-hordozók Testvériségének elnöki posztjáról, és visszavonult a közéletből.