原接受民進黨徵召，參選台北市中山、北松山區立委的員的市議員梁文傑今（4）日丟出震撼彈表示，他將於下午一點半，於台北市議會黨團辦公室，召開「宣布退選立委」。對此，同樣有意角逐中山、北松山區立委的前柯辦發言人潘建志表示，肯定梁文傑是一個優秀的政治人物，自己會在最短時間去拜訪梁，並尋求梁文傑的支持，潘建志會連同梁文傑的份一起努力，會在中山區想辦法勝選。
為何做出退選決定？親近梁文傑的友人表示，和前民進黨主席林義雄一直批判他，「就任台北市議員不到五個月競選立委」有很大的關聯，林義雄今天又再度出面，詢問民進黨主席蔡英文，「提名就任不及5個月的市議員參選立委是對是錯？如果是錯，為什麼還不改正」？
前民進黨主席林義雄4日二度召開記者會，重申呼籲民進黨主席蔡英文對於提名黨籍市議員參選立委的選舉策略重新思考。林義雄公布一封「敬請蔡主席惠賜答覆」的公開信，向民進黨主席蔡英文提出四大問，若提名才就任不久的市議員，是否意味蔡英文對公職棄守職位不在意？那麼，蔡英文答覆未來當選總統，是否會輕易拋棄職位另謀高就？
林義雄指出，蔡英文曾在4月與蔡英文的餐敘時，蔡英文與林義雄皆同意，就任不久的議員初而競選立委是不好的事情，現在民進黨卻不只提名一位市議員競選立委，讓民進黨蒙受悖離民主的汙名。
而對於林義雄一再呼籲，並在日前點名梁文傑，梁文傑下午將宣布退選，潘建志表示，肯定梁文傑是一個優秀的政治人物，自己會在最短時間去拜訪梁，並尋求梁文傑的支持，潘建志會連同梁文傑的份一起努力，會在中山區想辦法勝選。
至於林義雄日前不斷批評民進黨市議員參選立委，潘建志指出，其實基層一直有這樣的聲音，而林義雄所言的是一個大的局勢，也不是只有中山區而已，而是整個台灣，綠營整合陷入困境。林義雄是以一個比較大的眼光來看，這對蔡英文選舉也有幫助。潘建志說，自己也支持小英，相信如此作法總統大選會更順利。
在梁文傑退出後，潘建志與同為柯家軍的前柯辦主任蕭亞譚、社民黨參選人李晏榕等人的整合？潘建志說，自己已經跟李晏榕接觸，也會去接觸蕭亞譚，當然談的內容就是談如何做最大的整合，因為自己是無黨籍，拜訪的對象幾乎都囊括，希望可以爭取最多人支持，而這也是柯文哲當時競選台北市長的策略，一定要超越藍綠才能勝選，因為中山區是藍大於綠。