裕仁皇太子（後即位天皇，年號昭和）於1923年4月訪台，在基隆上陸後，行經台北、桃園、新竹、台中、台南等地。雖然其曾造訪斗六，但僅在火車上與眾人揮手即離開。在訪台行程結束後，斗六仕紳吳克明發起興建行啟紀念館，由地方及官方共同集資興建，約建於1927年，時稱「斗六記念公館」，作為斗六的公共集會空間。
戰後，此建築由地下水公司進駐使用，之後又陸續由公路局嘉義監理所斗六分站、雲林縣府工商課、軍公教福利中心、國有財產局中區辦事處等單位使用。其在1999年的921大地震中嚴重受損，被列為危樓且一度發生火警。在2001年以「斗六國有財產局雲林辦公廳舍」之名稱被登錄為雲林縣歷史建築。修復工程於2005年至2006年進行，並在2006年將登錄名稱變更為「斗六行啟記念館」。目前由斗六市公所管理，並依《斗六行啟記念館場地借用管理辦法》進行租借，恢復其最初供民眾使用之目的。