總統府2014年12月5日突然宣布更換侍衛長，霍立青因任務需要予以免職，遺缺由潘進隆接任。媒體報導，霍立青原向海軍司令部督察單位提出申訴，指總統府為機關單位，並非國軍24小時戰備待命單位，應可採上下班制，主張其任總統府侍衛長期間表現並無過失，申訴要求依規定派職。總統府對此表示，霍立青有「內部管理問題」，確不再適合擔任總統府侍衛長一職。
對霍立青提出申訴，總統府方面人士表示，當時總統府在霍立青去職時就已經說明，霍有「內部管理問題」，後續一切處理都符合規定。尤其霍立青的早退紀錄，都有詳細的資料可查，「有兩次明顯的管理疏失」，確實已經不再適合擔任總統府侍衛長一職。府方人士批評，霍立青所提的申訴理由「很荒謬」。
國防部發言人羅紹和13日表示，霍立青日前向國防部官兵權益保障委員會提出個人權益的申訴，權保會已依規定受理，後續將擇期召開委員會討論霍立青所提事項。至於霍立青所提的申訴事由，羅紹和表示，權保會尚未召開會議，他不能針對內容多作說明。
對於媒體報導侍衛長是否可以正常上下班一事？羅紹和說，依據相關規定，侍衛長專責指揮、協調與督導有關總統與其家屬之侍衛與警衛事項。其責任重大，故不能以正常上下班制來衡量，且其言行尤需考量社會的觀感與期許。