立法院長蘇嘉全1日到4日率朝野立委共20多人赴日訪問，有媒體指出，相較於過去前立法院長王金平訪日時的公私分明，這次行程根本公私不分，蘇嘉全在公務行程結束後，還要到北海道打球，而蔡其昌也會陪著老婆孩子繼續留在日本玩。
對此，蔡其昌今天下午親自在與媒體的LINE群組中直言「生氣」。他表示，他的太太帶兩個小孩自己來東京玩，全程和立法院團無一點關係，沒出現任何一個活動，住宿自己訂房、自己活動，除了幾個台灣友好的記者知道，日本記者根本沒人知道、看到，「這樣也可以修理我」。
而蔡其昌辦公室則指出，蔡其昌的家人是自費在他處旅行，機票跟房間都是自己買、自己訂，沒跟隨立法院的參訪團、沒吃僑宴，而蔡其昌在參訪後的私人行程也都是自理，不會麻煩到駐日辦事處人員。