望高樓為臺灣島上有記載最古老的燈塔,而且是民間力量興建且委由民間經營的燈塔,可說是罕見。但在1888年(清光緒10年)清廷另於油車口建淡水燈塔,望高樓便任其荒棄;據傳日治時期太平洋戰爭如火如荼,日本統治當局為了興建堡壘,取用望高樓石材,150年之久的燈塔從此消失,而只遺留望高樓碑在福佑宮內。