紐約時報報導，不太可能預測終身職的大法官何時出缺，比如，大法官史蒂文斯在任職三十五年後，以九十高齡退休，而大法官傑克森在任職十一年後，因心臟病發辭世，享壽六十二歲。不過，二○○六年哈佛法學與公共政策期刊內的一篇調查發現，大法官平均退休年齡為七十八．七歲。
在首席大法官羅伯茲的主導下，聯邦最高法院經常給予保守派司法勝利。現在，最高法院自由派堅定份子金斯伯格已罹患胰臟癌，而最保守的史卡利亞大法官高齡七十六歲，常是游離票的甘迺迪大法官七十五歲，由民主黨總統任命的布雷耶也將七十四歲。目前沒人有去職意願。自由派的哈佛法學院教授甘迺迪去年主張，金斯伯格與布雷耶應辭職，以便讓歐巴馬任命較年輕的志同道合者遞補，他說：「因為這兩人不可能活得比一個兩任的共和黨政府還久，更要緊的是，他們真的很老。」
大法官去職的原因有多種，比如，大法官歐康諾以照顧丈夫為由，七十五歲離開最高法院。不過甘迺迪教授堅稱，她的去職一點也不偶然，她由共和黨總統雷根任命，而在二○○六年共和黨的小布希總統任內辭職。
有些大法官常等到政治意識形態與自己相近的總統上任後才辭職，如最近退休的兩名大法官史蒂文斯與蘇特皆是共和黨總統任命，然而當最高法院右傾時，他們轉向左，當時已是最高法院自由派領袖的史蒂文斯與表明不喜歡華府的蘇特直到歐巴馬當選總統後才去職，芝加哥大學憲法教授史東說：「人們可推想，他們在等待。」