1927年3月在南京成立。當時所說的國術，即現在的武術。該館成立之後，有的省、市、縣也成立瞭國術館。該館是群眾性學術機構，受當時的行政院資助，在組織沿革上分為兩個階段。開始階段設少林、武當兩個門派：少林門主要包括少林拳、查拳、彈腿、八極拳、劈掛拳等，門長是王子平(見彈腿)；武當門主要包括太極拳、形意拳、八卦掌等，門長是高振東。後一個階段，這種兩門制的組織改為教務處、編審處、總務處等，主要任務是整理國術，宣傳國術，培養國術師資，出版國術書刊，如《國術週刊》、、《國術季刊》、《國術特刊》，還制定瞭《國術國考條例》。在培養師資方面，該館主要課程有國術源流、國術規則、拳術和器械套路、摔跤、武術短兵、武術長兵、散手、拳擊等。前後一共辦瞭6期，學生畢業後可應聘擔任武術教師或教練。每期人數不多，少則十幾人，多則百餘人；培訓期限有幾個月、1年、3年不等。國術館也辦比賽，如1928年、1933年在南京舉行瞭兩屆“國術國考”，進行瞭短兵、長兵、摔跤、散手（包括女子散手）等項的比賽。1936年曾組織“國術代表隊”到香港、新加坡、馬來西亞、菲律賓等地表演。1937年抗日戰爭爆發後，該館由南京先後遷至長沙、桂林、昆明、重慶等地，後由於得不到當時政府的支持，於1943年停止招生。
該館館長張之江(1882～1969)，武術提倡者，河北省鹽山縣人。張之江曾任馮玉祥國民軍旅長和代總司令等職。1927年脫離軍界，同年創建“中央國術館”，任館長。張之江自青年時起即喜愛武術。有一時期，他身患重病，堅持練武術後恢復健康，因此他更加熱愛武術。他任館長期間，國術館裡聚集瞭一批知名拳師，研究整理武術，開展教學輔導工作，對武術的恢復和發展起瞭一定的作用。1933年，他又創辦瞭國立國術體育專科學校，並任校長。中華人民共和國成立後曾任全國政協委員。