壹週刊報導，黃昆輝與前總統李登輝漸行漸遠，是因為李登輝打算將李連教育基金會轉型籌設紀念圖書館，黃昆輝拒絕交出基金會，並向李登輝說因投資失敗，基金會本金新台幣1.7億元，只剩下5000多萬元，氣得李登輝當場說不出話來。
黃昆輝上午召開記者會表示，相關報導是有心人刻意的分化與惡意中傷。他說，李連基金會4月25日曾召開董事會，他已經向董事一一溝通，會中並通過決議，將修改捐助章程，成立財團法人，以設立「李前總統紀念圖書館」，未來李連基金會將辦理解散，把基金全數捐贈給圖書館。
黃昆輝說，李連基金會的基金運用一直是董事會決議，前後交由4家專業投顧公司操作，基金虧損是因為大環境影響，並不是個人拿來炒股，目前基金剩下約5000萬元至6000萬元左右。
他說，他對李登輝交辦的事情，一向全力以赴、赴湯蹈火，在所不惜。
至於台聯與李登輝的關係，黃昆輝表示，李登輝是台灣的資產，是屬於大家的，不會當成只有台聯的。他說，李登輝一直希望台聯能夠自立自強，台聯也要努力的繼續求成長。
李登輝辦公室主任王燕軍說，李連教育基金會中，李登輝僅是單純的捐助人，與相關經營管理都沒有關係。