和平島公園海蝕地質公園內半山腰有個「蕃字洞」，早年荷蘭人佔領和平島時，在這裡有駐軍，洞內岩壁上刻有荷蘭字，但風化嚴重，荷蘭字已消失，蕃字洞上方有處碉堡，是和平島公園裡重要歷史文化遺跡，曾登錄為歷史建物，遊客到和平島公園必遊的景點之一。
據指出，前兩天天氣放晴，和平島公園遊客不少，還有海洋大學和社區團體來參觀，有陸客在園區步道上，拿望遠鏡一看，發現蕃字洞上方竟有人開墾種菜，令陸客很好奇。此外，遊客進入蕃字洞到此一遊，發現石椅上有成堆的紙錢，還有觀音、彌勒佛等神像，裡頭堆置一些雜物，導覽人員看了也瞠目結舌。
當地居民說，種菜的事存在一段時間了，大家都睜隻眼閉隻眼，以前就有人在蕃字洞裡擺神像，市府人員清理過，上個月進去時，還沒發現有神像。
此外，在蕃字洞對面山壁，原有尊石觀音，最近也有人在山壁上，以磚塊蓋「小廟」，裡頭擺許多神像，還看過道姑在地質公園裡辦法會，有破壞地質景觀之嫌。
交旅處表示，民眾在園區裡種菜，會馬上處理，蕃字洞裡的神像和雜物，可能是附近漁民拾獲的神像，放在蕃字洞膜拜，交旅處會擇日擲筊，「請」眾神遷居。