大島出身京都市，1954年京都大學畢業後進入松竹大船攝影所，1959年以執導「愛與希望的街道」出道。
1960年大島發表的「青春殘酷物語」以及「太陽墓場」等描寫性與暴力的社會派作品成為話題，被譽為革新電影的代表性人物。
投射他自己從事學生運動的作品「日本的夜與霧」，在上映後4天就被電影公司停止放映，為了表示抗議，大島在1961年自組公司。
自組公司後他發表了「絞死刑」、「新宿小偷日記」等話題作品。
他還與法國合作製作了描寫男歡女愛的「感官世界」等讓人印象深刻的作品。
大島1978年以「愛的亡靈」一片拿下坎城影展最佳導演獎，揚名國際，之後也有許多人將他與小津安二郎、黑澤明等日本代表性導演相提並論。
另外，1983年由大衛鮑伊（David Bowie）、（土反）本龍一等人主演、日本與英國等4國共同合作、描寫第二次世界大戰日本軍俘虜的作品「俘虜」，也在全世界造成很大的話題。
1980年後半，大島經常參加電視談話節目，1996年腦中風後很少出現螢光幕前。
1999年由北野武主演的「御法度」是大島生前最後執導的電影作品，2000年他還曾經獲頒紫綬褒章。