張豐緒出身屏東政治世家，台灣大學政治系畢業後前往美國深造，取得新墨西哥大學政治碩士學位，歸國後進入外交部服務，他處理國際事務的長才開啟從政之路，擔任過台灣省議員、屏東縣長、台北市長、內政部長、行政院政務委員及總統府國策顧問等要職。
1987年，張豐緒接任中華民國體育總會會長，同時兼任中華奧會主席，於1989年和中國大陸奧會簽訂協議，確立我體育代表隊在國際體壇的名稱為「中華台北」，更一手促成中華青年體操代表隊前往對岸競技，開啟兩岸體育交流先河。
除了深耕台灣，張豐緒在亞洲奧林匹克理事會也占有一席之地。
張豐緒的外甥、現任中華奧會秘書長陳國儀透露，1990年波斯灣戰爭爆發，恰巧科威特籍的亞奧會官員來台，當時該官員銀行戶口被凍結，在張豐緒的幫助下，該官員才得以飛到倫敦與現任亞奧會主席阿罕默德親王（Sheikh Ahmad Al-Fahad Al-Sabah）碰面，共商復國大計。
在這層關係下，張豐緒後來成為亞奧會財委會主席，管理亞奧會「金庫」20年後，交棒給陳國儀。
陳國儀指出，舅舅（張豐緒）擔任5任財委會主席，為亞奧會開闢財源，奠定亞奧會行銷宣傳機制基礎，「亞奧會可以說是5個洲奧會中，財務狀況最好的。」
中華奧會表示，張豐緒無私偉大的精神、對台灣體育及政治的卓越貢獻都將永遠留在國人的心中。張豐緒靈堂設立在萬安生命台北會館，開放外界弔唁。