被封為全台灣全地表最強違建的賴皮寮，引發許多民眾不滿也不爽，尤其是曾經經歷自己的家，稍微的違建，就被大動作拆除，甚至還有合法因公共設施經過而被強拆的人，不滿情緒幾乎爆裂。而對於民進黨的全黨護一房，前台南縣長蘇煥智表示，賴清德2007年母喪時，喪宅地點並非萬里現址；還說他沒有說謊，台灣什麼時候變成一個不能說實話的社會，不但不能說實話，還要幫違法的人粉飾太平，這就是台灣價值嗎？
近期因為民進黨總統候選人賴清德的萬里老家「賴皮寮」違建關係，民進黨上下，拿出國民黨總統候選人侯友宜在文化大學的出租房子做攻擊，問題是，文化大學房子是合法建物，是其老婆娘家所繼承而來，但「賴皮寮」就是違建，怎麼會拿來討論呢？這點讓不少人很奇怪。
臉書粉絲團「政客爽」就分享了一張「侯友宜凱旋苑」、「賴清德萬里老宅」6大項目比較圖，若從房屋性質比較，凱旋苑是合法房屋，萬里老宅是豪華違建。若從財產來源比較，凱旋苑是侯友宜妻子任美鈴繼承的財產，萬里老宅則是賴清德自己蓋的。
從稅務比較，凱旋苑有繳稅，萬里老宅則沒有繳稅。從房屋清潔上比較，凱旋苑是侯家族自己處理，萬里老宅則動用國安特勤打掃花園。從處理態度上比較，侯友宜直球對決，賴清德則「賴著不拆」。從處理方式上比較，凱旋苑未來將給青年作社會住宅，萬里老宅則公益信託當博物館，實際卻因是違建而做不了。
「政客爽」還表示，「笑死，拿地表最強違建來跟合法房屋比」、「說真的，侯友宜太太要怎麼處理她的財產，是她自己的事情，賴清德自己蓋的違建，現在死皮賴臉在那又哭又拗，還有特勤當幾年保安，會不會太扯？」
國民黨副總統趙少康受訪時表示，人家自己的私有財產，本來是岳父留給自己的女兒、孫女的，現在被攻擊，然後捐出來作社宅或青年住宅，合約還沒到期，還有50幾間空房子、空了一半以上，願意來捐款，價錢降到跟一般社宅差不多，「我覺得已經仁至義盡了」，等於該做的也都做了。
實際上文化大學最近招生減少很多，附近房子的學生宿舍，壓力比以前小很多，房子現在也不是文化大學的宿舍，變成社會人士都可以住，價錢補貼後，房子價錢比很多現在的宿舍還低，他很佩服侯大嫂的反應迅速及決斷，當斷則斷，該捨則捨，反應非常快。
不像賴清德的「賴皮寮」，到現在也不捐，是要等到甚麼礦工居住權解決，那個1、2年都解決不了，要報經濟部礦業局處理完後，再到地方政府做各種變更， 豈是3、5個月能解決的事情，他中廣董事長的辭職書都空白留在這邊，等了1、2個禮拜，賴清德也沒回應。
趙少康說，賴清德處理賴皮寮這樣緩慢、猶豫不決、拖拖拉拉，還哭了5次，如果兩岸發生緊張形勢，或國內緊急重大事件，不知道賴如何處理，有什麼資格或有沒有能力來處理，「我真的都替我們國家感到非常擔心」。
而蘇煥智也在臉書出示一張剪報指出，上面寫得清清楚楚的，賴清德老家的地址是中幅路31號之2，而不是現在大家在講的位於84號的違建。且在賴清德的新聞一出來時，前台南縣副縣長顏純左打電話來也問，「我記得我們當年去上香的老家，好像不是那間啊？」就真的不是。看到曾經支持的民進黨及同志，為了選舉只想用謊言欺騙人民，實在無比痛心。
蘇煥智指出，很多朋友昨天都在許多媒體上看到他指責賴清德說謊的報導，除了在臉書粉專上有許多人跑來謾罵外，私訊來駡的人也不少，還有打來辦公室罵的也很多。蘇說，如果他是一個為了利益和權力就會選擇不說真話的人，那麼現在應該還在民進黨裡。
網友說，賴皮寮違建不拆也不捐，都影響到民調支持度了，到底為什麼如此堅持，若依照蘇煥智來說，這裡根本不是老家，也都重新翻修了，那來的父母的記憶，所以，簡單講，惟一的理由只因龍穴，只要能當上總統，無所不用其極，任何人都別想動他的龍穴。