龜山島近13年來開放觀光，島上有座「普陀巖」景點，但很特別的是廟宇梁柱與屋頂看來都有維護，定時上漆保有門面，唯獨廟簷殘破，只剩下原有水泥結構，形成不對稱的景觀，島上傳說是因為過去曾經換了不同神明進駐。
龜山島早期還有民眾居住時，多半捕魚維生，宗教信仰當然也就是媽祖，島上因此也有座供奉媽祖的「拱蘭宮」。後因生活等因素上的不便，島上居民在民國66年之前就已全部遷到台灣本島，當時也將媽祖一起帶離龜山島，「拱蘭宮」之後成為廢棄的空廟。
島上傳說，龜山島由國軍接管時，曾傳出人員失蹤，因此軍方後來才決定請來1尊觀世音菩薩供奉於廟內，改名「普陀巖」。
此外，在過去軍營正前方的龜尾湖旁，也豎立1座大型騎龍觀音神像鎮煞，說也奇怪，自此之後，島上就安寧無事。
龜山島解說員說，當時島上的廟宇從供奉道教的媽祖，要換成佛教的觀世音菩薩進駐時，民間宗教信仰認為，要把舊廟重新打掉重建，但當時可能是避免浪費資源，只請人象徵性將廟簷敲毀，廟簷也不再重修，形成特別的廟宇景觀。
龜山島上過去由於具有神秘軍事等色彩，流傳許多靈異故事，但隨開放觀光已13年，加上交通部等單位積極整建，現已成功轉型為國內熱門的生態旅遊景點。