柯俊雄有過兩段婚姻，第一段是1970年與當紅女星張美瑤結婚，張美瑤婚後息影，兩人育有兩女，但婚姻在2004年畫下句點，柯俊雄後與現任妻子蔡青樺生子。
1945年生的柯俊雄，18歲開始拍攝台語片，包括「天字第一號」等，外型俊挺成為台語片當紅小生。後來先後演出「英烈千秋」、「八百壯士」等抗日電影，讓柯俊雄英雄形象深植人心。
1941年生的張美瑤，20多歲就踏進影壇，迅速成名，還曾到日本演「曼谷之夜」、「香港白薔薇」，享有「寶島玉女」美譽，並曾獲亞太影后，她紅透半邊天時，柯俊雄還在片場當導演李行的場務工人。
資深影劇圈人士回憶，年輕的「柯桑」，俊帥中帶著「江湖兄弟」氣息，被認為像極了當時日本紅星寶田明，1966年主演「橋」時和張美瑤結緣，兩人1970年結婚，後來張美瑤退出影壇，為了家庭、先生、小孩，她甘願當柯俊雄「背後的女人」。
資深導演楊文淦曾向媒體透露，當年柯俊雄帥，張美瑤更美得出眾，「張美瑤當時很傲氣，所有人都看不上眼；在梨山拍戲時，工作人員要柯俊雄去逗她」。有場戲要兩人在草地上奔跑，沒想到已來電的兩人只顧聊天、不顧鏡頭。殺青後工作人員想整張美瑤，故意要柯俊雄潑她冷水，事後問張卻說「不冷」，當下劇組人都明白，「只有柯俊雄能降服她」。
柯俊雄和張美瑤結婚35年，生了兩個女兒。2002年兩人因柯俊雄外遇生子而離婚，柯俊雄與服裝設計師蔡青樺另組家庭。張美瑤還一度與柯俊雄因贍養費對簿公堂，後來和解。
2012年張美瑤辭世，當時未接獲通知的柯俊雄事後多次哽咽、落下男人淚，曾說：「我這輩子只有兩個女人，前半生是張美瑤。對張美瑤，愧疚是一定有的，也很感謝她。」