吳育昇曾在二○○九年時爆出婚外情，與女性友人出入汽車旅館；針對馮光遠批評，吳育昇表示，有關罷免案的事，他不回應。
馮光遠參加台教會召開的「罷免官吏之權，不容違憲閹割」記者會時，嘲諷吳育昇說，上述修法如果通過，以後一個人要去賓館比罷免案容易多了！
馮並在臉書上表示，「檢附身分證正反面影印本，並簽切結書」，這麼瞎的提議人、連署人條件，你們也想得出，這不是擺明了一旦當選，就可以「優游玩四年」？
馮光遠質疑，「吳育昇，你上賓館跟婚外情對象打炮，賓館會跟你說，『先生，你好面熟，能留個身分證影印本嗎？』」「賓館會跟你說，『喔，原來是大委員，您可以簽張切結書嗎？』」