1925年、眠っている車のポーターの同胞団の創立会長として、ランドルフは黒人労働者のグループを組織し始め、アメリカ労働連盟（AFL）の関連会社の半分が黒人の会員資格を禁止した時に、彼の組合をAFLに連れて行った。 反対にもかかわらず、彼は最初の成功した黒人労働組合を建設し、同胞団は1937年にプルマン会社との最初の大きな契約を獲得した。, 翌年、ランドルフはその階級での差別と戦うために失敗に抗議してAFLから彼の組合を削除し、新しく形成された産業組織会議（CIO）に同胞団を取りました。 彼はその後、連邦政府と連邦契約のある産業における黒人雇用の問題に戻った。 彼はプレスに警告した。 フランクリン-D-ルーズベルトは、ワシントンD.c.の抗議行進で何千人もの黒人を導くだろうと,;ルーズベルトは、June25、1941、行政命令8802を発行し、防衛産業および連邦局における差別を禁止し、公正な雇用慣行委員会を創設した。 第二次世界大戦後、ランドルフは軍事分離に対する非暴力の市民的不服従のための連盟を設立し、その結果、Presによる問題が生じた。 ハリー-S-トルーマンは26日、1948年の大統領令9981号により、軍隊における人種分離を禁止した。
1955年にAFLがCIOと合併すると、ランドルフは連合組織の副会長および執行評議会のメンバーになりました。, 彼はAFL-CIO内の差別と戦うためにランドルフらによって結成された黒人アメリカ労働評議会の最初の大統領（1960-66）でした。
ブリタニカプレミアムサブスクリプションを取得し、排他的なコンテンツへのアクセスを得ます。 1941年の彼の活動のエコーでは、ランドルフは、黒人のための公民権のためのサポートを実証するために、200,000人以上を首都に28、1963年にもたらした仕事と自由のためのワシントンの行進のディレクターでした。 二年後、彼はAを結成しました。, 貧困の原因を研究するコミュニティリーダーのためのフィリップランドルフ研究所。 慢性的な病気に苦しんで、彼は1968年に寝台車ポーターの同胞団の大統領を辞任し、公的生活から引退した。