國民黨前立委陳杰曾在民國九十八年三月間爆料指出，彰化縣府有「五個縣長」，除了卓伯源本人，還包括縣長家人，卓伯仲也在其中，透過電腦及電子信件直接向縣府員工下命令。當時卓伯源回應指出，「我的家人是彰化的義工，我們犧牲奉獻不求回報。」
親民黨前立委陳朝容也在同時間指控說，卓家在田中鎮農會疑有多筆貸款，利息逾期未繳納，卓伯仲曾出面和田中鎮農會前總幹事許重光協商繳納利息，揚言連利息都不付。
卓伯仲的爸爸卓瀧助當時替卓伯仲澄清說，借貸的土地早已停止繳息進入拍賣程序，沒有協商拒繳利息之說。
當時正是國民黨縣長初選期間，引爆牽涉到卓伯仲的爭議，後來地方上有關卓伯仲的傳言仍不間斷，大多是指其過度關切縣府事務。
也有不願具名的地方政壇人士表示，卓伯仲不常在地方走動，台北政壇才是其舞台，他屬於幕後型人物，從旁襄助卓伯源的政務推動，地方人士要在公開場合遇見他，競選期間機會比較高。