Mimo że stracił możliwość studiowania, nie zrezygnował z działalności antycarskiej, co zakończyło się jego aresztowaniem 22 marca 1887 roku. Oskarżono go o spisek zmierzający do obalenia cara Aleksandra II. Zesłany na Syberię spędził tam pięć . Do Wilna wrócił w 1892 r.
Po utworzeniu w Warszawie w roku 1893 Polskiej Partii Socjalistyczna (PPS), Piłsudski został członkiem tzw. sekcji litewskiej tej partii, czyli działającego na Litwie Centralnego Komitetu Robotniczego i objął stanowisko redaktora naczelnego w wydawanym przez PPS piśmie ,,Robotnik”.
W 1900 r., gdy wraz z żoną (Marią Juszkiewiczową) zamieszkał w Łodzi, ponownie go aresztowano za wydawanie nielegalnego pisma i osadzono w więzieniu w Cytadeli Warszawskiej. Symulował chorobę psychiczną, dlatego trafił do szpitala w Petersburgu, skąd uciekł w maju 1901 r., korzystając z pomocy lekarza- Władysława Mazurkiewicza.20 czerwca, po spotkaniu z żoną, przekroczył granicę galicyjską w Rebizantach na Roztoczu. W Galicji nadal zajmował się działalnością polityczną.