Juozas Antanas Zdebskis wurde am 10. Mai 1929 in der Ortschaft Krosna unweit von Marijampolė geboren. Im September 1952 empfing er die Priesterweihe und schloss im Juni 1953 das Priesterseminar in Kaunas ab. Anschließend war er als Kaplan und Pfarrer in verschiedenen Pfarreien tätig.
1957–59 hielt Zdebskis als Kaplan der Erzengel-Michael-Garnisonkirche in Kaunas Predigten, die insbesondere bei der Jugend Popularität erlangten. Er vervielfältigte religiöse Literatur und sorgte für die Verbreitung von Werken verbotener Emigrationsphilosophen wie Antanas Maceina, Juozas Girnius und Stasys Šalkauskys. Weil er Kindern Religionsunterricht erteilte, wurde Zdebskis am 26. November 1964 verhaftet und vom Volksgericht der Stadt Kapsukas (wie Marijampolė in dieser Zeit hieß) zu 1 Jahr Gefängnis verurteilt. Er war zunächst im Lukiškės-Gefängnis in Wilna und dann im Straferziehungslager im Wilnaer Stadtbezirk Rasos inhaftiert. Nachdem Chruschtschow gestürzt und die unter ihm forcierte antireligiöse Kampagne ins Stocken geraten war, wurde Zdebskis (auf Grundlage eines Dekrets des Präsidiums des Obersten Sowjets der Litauischen SSR vom 27. Januar 1965) im April 1965 vom Obersten Gericht der Litauischen SSR rehabilitiert und im Juni 1965 aus der Haft entlassen.
Ab 1968 engagierte sich Zdebskis im Kampf für Menschenrechte und gegen die Russifizierung Litauens, er sammelte Unterschriften gegen die Beschränkung der Rechte der Kirche und der Gläubigen. Seit 1969 unternahm er Missionsreisen in anderen Regionen der UdSSR (Armenien, Georgien, Moldawien, Region Altai, Kasachstan). Er besuchte litauische politische Gefangene und Verbannte und leistete finanzielle Unterstützung für deren häufig mittellosen Angehörige, die sie in den Lagern oder in der Verbannung besuchen wollten. Später sammelte er auf seinen Reisen auch Material für die „Chronik der Katholischen Kirche in Litauen“.
1971 war Zdebskis Mitbegründer und einer der ersten Dozenten eines konspirativen Priesterseminars. Er organisierte Jugendfreizeiten, Fußwallfahrten nach Šiluva oder zum Berg der Kreuze bei Šiauliai sowie Veranstaltungen zum litauischen Unabhängigkeitstag (16. Februar). Seine Popularität, insbesondere bei der Jugend, erregte bald die Aufmerksamkeit der Staatsmacht. Am 26. August 1971 wurde Zdebskis erneut verhaftet. Unter dem Vorwurf, Kindern Religionsunterricht erteilt zu haben, verurteilte ihn das Landgericht Kaunas am 11. November 1971 nach Artikel 143 Strafgesetzbuch der Litauischen SSR (entspricht Artikel 142 Strafgesetzbuch der RSFSR) zu 1 Jahr Freiheitsentzug. Seine Verhaftung und der Gerichtsprozess führten zu Massenprotesten von Gläubigen. Während der Verhandlung versammelten sich vor dem Gerichtsgebäude rund 600 Menschen, die von der Miliz gewaltsam auseinandergetrieben wurden. Das Memorandum der litauischen Katholiken, das sich unter anderem gegen das Vorgehen gegen Zdebskis richtete, fand mehr als 17.000 Unterzeichner. Der Moskauer Menschenrechtler Waleri Tschalidse sandte Solidaritätsbekundungen für Zdebskis an sowjetische und internationale Stellen. Zdebskis saß seine Haftzeit im Straferziehungslager Pravieniškės bei Kaunas ab. Nach seiner Entlassung 1972 wurde ihm die Anstellung als Priester behördlich untersagt, und er arbeitete zwischenzeitlich als Nachtwächter und in der Melioration.
1974 unterschrieb Zdebskis einen an das Komitee für Menschenrechte in der UdSSR gerichteten Appell, in dem die Freilassung von Nijolė Sadūnaitė, Petras Plumpa, Virgilijus Jaugelis und anderen politischen Häftlingen gefordert wurde. Andrei Sacharow war die Weiterleitung des Dokuments an den Weltkirchenrat zu verdanken, sodass es auch international breites Echo fand. Während eines Verhörs bestätigte Zdebskis die Unterzeichnung des Appells, verweigerte jedoch seine Unterschrift unter das Vernehmungsprotokoll sowie jede weitere Aussage.
Zdebskis pflegte intensive Kontakte mit Moskauer Menschenrechtsaktivisten wie Sergei Kowaljow, Andrei Sacharow, Tatjana Welikanowa und anderen, die die Weiterleitung der „Chronik der Katholischen Kirche in Litauen“ ins Ausland unterstützten. Häufig reiste Zdebskis nach Moskau um die für die Weiterleitung bestimmten Exemplare der Chronik persönlich zu überbringen. Im Februar 1977 war er Mitunterzeichner des „Appells der 325“ in dem die Freilassung von Alexander Ginsburg gefordert wurde.
Am 13. November 1978 gründete Zdebskis gemeinsam mit Sigitas Tamkevičius, Alfonsas Svarinskas und anderen das Katholische Komitee zur Verteidigung der Rechte der Gläubigen. Er unterschrieb die meisten der 52 Appelle des Komitees an internationale Organisationen, sowjetische Behörden und kirchliche Stellen. Als nach der Verhaftung von Tamkevičius und Svarinskas die Funktionsfähigkeit des Komitees faktisch zum Erliegen kam, bemühte sich Zdebskis um dessen Reaktivierung. Die „Chronik der Katholischen Kirche in Litauen“ (Nummer 62/1984) berichtete, dass das Komitee seine Tätigkeit im Untergrund fortsetzen würde. Die Mitglieder des Komitees richteten, nunmehr anonym, weitere Appelle und Erklärungen an Partei und Behörden, in denen sie sich gegen die Verletzung der Rechte von Gläubigen wandten. Zusammenfassungen der Appelle wurden in der „Chronik der Katholischen Kirche in Litauen“ abgedruckt. Seine letzte Wirkungsstätte hatte Zdebskis als Priester in Rudamina in der Region Lazdijai. Er wurde rund um die Uhr vom KGB überwacht, und es gab vielfache Versuche, ihn in den Augen der Pfarrgemeinde zu diskreditieren.
Am 5. Februar 1986 kam Juozas Zdebskis unter ungeklärten Umständen bei einem Autounfall ums Leben. Seinem Andenken wurde die Nummer 70 (23. April 1986) der „Chronik der Katholischen Kirche in Litauen“ gewidmet. Seine letzte Ruhestätte fand er an der Kirche von Rudamina. Posthum wurde er unter anderem mit dem Orden des Vytis-Kreuzes 2. Grades (1998) geehrt.