市府指出，經過委員審查，「南市區漁會」除了見證臺南運河的變遷及地區漁業發展的歷史文化意義外，它在建築及藝術上的特色並不具備，缺乏完整、明確的文化資產價值，因此決定予以拆除。
市府地政局指出，配合中國城拆遷，有47位地主土地被徵收，其中有10位地主選擇以地換地方式，換回資產，舊魚市場所在區域因為是可建築用地，依法必須提供給遭徵收地主作為選擇用地。
市府指出，臺南市文化資產管理處於104年9月辦理的中西區建物列冊審查，將舊魚市場（後改為南市區漁會）排入審查，因原貌已遭受到大幅破壞與改變，例如屋頂、原木屋架已佚失、外牆及南側之增建、內部空間喪失原有配置及功能等，皆降低建物本身的真實性與完整性。
又說，該建物為民間集團集資興建，做為漁市拍賣場使用，講究的是建築物提供魚貨、人員方便進出、環境通風之功能性，而建築物本身並不具有藝術價值，亦乏建築史上的意義，僅能呈現民間藝術特色。
市府說，考量舊魚市場與運河密切關係，兼顧城市發展與地方記憶情況下，市府將予以異地保留，文化局及地政局將邀請相關團體討論保存範圍及地點，讓魚市場能夠持續見證都市演變過程。