台北清真寺創建於1948年,最初的位址位於台北市麗水街17巷2號,於1957年遷至今日位址,為臺灣第一座清真寺。
1950年代,因與中東邦交國往來需要,加上來臺穆斯林教徒人數日益增多,中國回教協會理事長白崇禧將軍便向當時的外交部長葉公超先生提議,與中東地區的回教友邦和穆斯林共同籌募興建清真寺,並且順勢以捐款建造清真寺之名義達成國民外交。