卓伯仲雖掛名設於彰化田中大新工業區的聯安冷凍公司董事長，但其實他長期都在北部活動，也住在新北市，並不常回彰化。他是卓伯源家族中，外界比較不常看到的成員。
不過卓伯仲不常在彰化出現，並不表示他在彰化默默無聞。許多人，尤其是縣府主管，就對他這個大名鼎鼎的「縣長弟弟」，如雷灌耳不少人甚至吃過他的排頭。最有名的例子，就是九十四年底卓伯源甫上任，就有一名縣長室祕書被他斥為「前朝遺孽」，而他也因這句話而在縣府主管間一炮而紅。
對部分縣府主管而言，卓伯仲或許是個很難搞的縣長弟弟。他沒有任何縣府的職銜，卻經常關切相關業務，而被封為「地下縣長」。傳聞中，還有縣府主管因他而掛冠求去，只是此種傳聞雖在縣府大樓甚囂塵上，卻從來沒有獲得相關人員的證實。
儘管縣府主管對卓伯仲這位縣長弟弟都戒慎恐懼，不過他的朋友卻認為他是一個聰明、有才氣，而且反應快、重感情的人，甚至還有朋友認為他很有正義感。只是聽聞他因涉貪遭到羈押，這名與他有十多年交情的朋友，也感到不可思議，認為「這不是他的作風」。
一名父兄輩的朋友則明白指出，卓伯仲才高氣傲，有知識分子的優越感，經常不把別人放在眼裡，也很樂於成為哥哥的擋箭牌。不過他對長輩非常有禮貌與教養，很有長輩緣。連民進黨一些台大的老學長，也都非常喜愛他這個「小學弟」。
