施明德表示，台灣能有今天的成就，是眾多先人投注青春血淚灌溉而成，但台灣現在追念先烈先賢的殿堂只有一個「忠烈祠」，忠烈祠供奉的人物又多以「忠於黨國」為取捨標準，他有感於中國時報創辦人余紀忠、樞機主教單國璽等人過世後無處供奉追念，因此發起設立「台灣感念祠」，要超越黨國框架，紀念各領域的先聖先賢。
施明德：『(原音)是多少先人、前人、賢人留下的足跡、奉獻，所以才能讓你我享有今天的台灣，但是這些先人、前人、賢人，我們都沒有好好來整理，成為我們心中的典範、成為我們腳前的光來引領我們，所以我們常常會面對「前無古人」的那種徬徨。』
包括法務部前部長王清峰、文建會前主委申學庸、陳郁秀、中研院院士許倬雲等各界人士都已連署設立「台灣感念祠」。施明德指出，未來「台灣感念祠」的設立將由民間主導，拒絕政府公權力介入評審；供奉於祠內的人物不限國籍、膚色，也不以頭銜為取捨標準，而是看其事蹟、精神及信念是否足以為後人感佩學習。
施明德說，法國的「萬神廟」(Pantheon)就是藉由銘刻歷史人物生平成就，彰顯法國的精神及價值，他希望「台灣感念祠」有一天也能成為台灣的「萬神廟」(Pantheon)，當先人、先賢的集體形象逐漸呈現後，台灣文化才能夠生動的在台灣生根，在華人世界引領風騷。