2008年5月20日卸任行政院長，張俊雄馬上放棄所有法定禮遇，包括隨扈、座車、司機等統統婉拒，現在出門，他有時候坐公車，有時搭捷運，有時靠計程車，有時則由朋友接送。他說，雖然生活物質簡樸，但他有超越的理想，剩下有限的人生，投身志工。
他擔任更生團契義工，與死囚一一懇談，希望死囚悔改、簽署器官捐贈同意書；他到各監獄探訪煙毒犯，也到中輟生學園探視青少年。太太朱阿英也和他一起投入志工服務。
張俊雄曾遇過一位死刑犯提出的最後遺願是想見父親一面，張俊雄好不容易終於找到那位父親，但父親卻怎麼樣也不肯去見孩子，兩度拒絕張俊雄。張俊雄無奈之餘只好禱告，把這件事交託上帝，又過了一段時間，這對父子才終於相見，父子在獄所抱頭痛哭。
張俊雄說，當初他走訪各監獄，與死囚懇談，列了五大目標，一是懇請死囚反省悔改、接受信仰，二是希望他們很謙虛地向被害家屬道歉，三是希望他們留給人間最後的貢獻，把器官捐給需要的人，四是詢問他們最後的遺願，在能力內替他們完成，第五則是試圖找出在他面前的這些人變成死刑犯的原因。
張俊雄遇過一名死刑犯，才41歲但進出監獄的經驗長達30年，這名死刑犯年少時因養父家暴而離家出走，屢次因飢餓偷東西，在感化院、監獄進進出出，越關越大尾，最後犯下殺人罪被判死刑。
「很多個案都讓你心裡滴血」，張俊雄說，很多人覺得「監獄裡面都是該死的人」，但是如果從社會功利的觀點來看，不去教化，很多個案就會像那位沒飯吃而犯下偷竊罪的9歲孩子，因為缺少外界關懷，30年後成為死刑犯，這段期間，社會有多少人因他的犯行而受害。
張俊雄說，20年前監獄裡的受刑人約2萬多人，現在監獄有6萬多名受刑人，一個教誨師平均要負責400人的教誨工作，但是，「你連受刑人的名字都叫不出來，怎麼幫助他？」。
他認為，監獄的教化如果沒做好，監獄反成犯罪深造所，另外，他也發現，家庭失去功能，也是當前造成問題少年的最重要原因；所謂家庭失去功能，未必是起因於「貧窮」，有時候富裕家庭要什麼給什麼，反而寵壞孩子。
他說，自己透過做志工、到處演講，呼籲社會重視監獄教化，重視家庭功能，這是他人生僅剩的時間裡，應該要做的事。