我國體育行政主管機關首度以「體育委員會」名稱出現，始於民國二十一年，惟因時值戰亂，無法發揮功能，至民國六十二年十月三十一日教育部修正組織法，在教育部之下正式成立體育司，民國七十一年國民體育法修正公布，在體育司之外，並恢復設置「國民體育委員會」。民國七十六年行政院研修組織法時，雖各方促請成立「體育部」之聲浪甚高，惟民國七十七年十月行政院組織法研修小組向立法院法制委員會提出修正草案時，仍維持在教育部體系內，提升體育司位階，改設「體育委員會」或「體育署」之主張。至民國七十九年一月十八日立法院紀政委員提出經五十七位立法委員連署之修正動議，提案在行政院組織法修正草案第六條增設「體育委員會」，並以過半數表決通過，為「體育委員會」爭得一席之地，嗣因行政院改組，該法案乃經撤回。

　　民國八十四年十二月，大專體育總會召開「邁向二十一世紀我國體育發展策略研討會」，再度提出設立「國家體育委員會」之建議，獲　李前總統登輝先生公開表示支持，並保證將推動在行政院下成立體育委員會。民國八十五年一月，行政院連前院長在全國體育總會主辦之新春團拜也公開表示贊成。民國八十五年八月，百餘位朝野立委再度連署提案成立部會層級之體育行政機關，為體育委員會催生，進入另一波高潮。民國八十六年三月，前副總統兼行政院長連戰先生正式核示在行政院下設立體育委員會，並指示由行政院研究發展考核委員會負責規劃，由當時主任委員黃大洲先生出任籌備小組召集人，進行籌備事宜。

　　民國八十六年六月十九日行政院徐前副院長召集有關機關開會審查「行政院體育委員會組織條例及暫行組織織規程草案」，經提報六月二十六日行政院第二五三三次會議審議通過，其中組織條例草案送請立法院審議，暫行組織規程由行政院於八十六年七月一日發布施行，於八十六年七月十六日在前副總統兼行政院長連戰先生主持揭牌儀式時起，行政院體育委員會正式成立，開始運作。

　　八十六年十二月三十日本會組織條例經立法院三讀通過，並於民國八十七年一月十二日奉華總(一)義字第八七○○○○四二○○號總統令公布依「行政院體育委員會組織條例」規定，行政院體育委員會為統籌國家體育事務之全國體育行政主管機關。

　　2013年1月1日，行政院體育委員會配合組織改造，併入教育部更名為「教育部體育署」。