Masjid Abdullah Fahim dinamakan sempena nama tokoh ulama' yang terkenal iaitu Allahyarham Sheikh Abdullah Fahim.Sheikh Haji Abdullah dilahirkan di Tanah Suci Makkah al-Mukarramah pada tahun 1870 di satu tempat tidak jauh dari Masjid al-Haram yang bernama Shuib Ali.Bapanya Sheikh Ibrahim bin Haji Tahir bermastautin di kota Mekah dan menjadi guru agama di Masjid al-Haram.