Abdul Madjid lahir di Pekojan tahun 1887. Ayahnya K.H. Abdurahman bin Sulaiman bin M Nur bin Rahmatullah, adalah mualim yang dihormati. Guru Madjid pertama kali belajar agama kepada ayahnya sendiri. Menjelang dewasa, ia dikirim ke Mekkah untuk belajar agama kepada para ulama di sana selama beberapa tahun. Diantara gurunya adalah Syaikh Mukhtar Atharid, Syaikh Umar Bajunaid Al-Hadrami, Syaikh Said Al-Yamani. Meski yang dipelajari masih tergolong standar, karena kealimannnya ia mampu mempelajari ilmu lain seperti tafsir, tasawuf, dan ilmu falak. Sepulang ke tanah air, ia langsung mengajar dan berdagang. Sebagai orang alim, Guru Madjid juga dikitari cerita-cerita ajaib yang menunjukkan kedalaman ilmu dan kelebihannya. Di antara mata murid-muridnya, sering terlihat kejadian aneh diluar logika biasa di sekitar guru, yang dalam bahasa arab disebut khairul ‘adah. Misalnya, ketika tengah mengajar mengaji di masjid Jalan Pecenongan, tiba-tiba ia memindahkan lokasi mengajarnya ke serambi. Tak lama kemudian, hanya dalam hitungan menit, bangunan utama masjid tersebut, bagian dalam, roboh, tanpa sebab-sebab yang jelas. Maka, ia dan murid-muridnya pun selamat. Pada masa pendudukan Jepang, Guru Madjid juga aktif berpolitik. Partai Masyumi adalah lahannya, di samping NU. Ia juga terpilih menjadi anggota Chuo Sang In (Dewan Penasehat Pusat) yang dibentuk Jepang. Beberapa tahun menjelang wafat-nya, Guru Madjid atau lengkapnya K. H. Abdul Madjid, seperti sudah mendapat firasat bahwa lahan di Jakarta akan mengalami kondisi yang sulit, baik karena pertambahan penduduk, maupun karena kepentingan duniawi, sehingga kuburanpun harus dibongkar dan dipindahkan ke tempat lain. Oleh karena itu, ia menulis surat kepada muridnya yang tinggal di Basmol Cengkareng. K. H. Abdul Ghoni, agar kelak, ketika ajalnya sudah sampai, ia dikubur di Kampung Paselo. Padahal Guru Madjid pada saat itu tinggal di Kampung Gusti, Jakarta Barat. Jarak kedua tempat itu cukup jauh. Maka ketika Guru Madjid tutup usia pada hari Jum’at 27 Juni 1947 dalam usia 60 tahun, jenazahnya langsung di bawa ke Basmol, diiringi para muridnya dan dimakamkan di Kampung Paselo. Sampai kini, makam tersebut masih terurus dengan baik. Sepeninggalnya, banyak muridnya yang menjadi ulama besar. Mereka meneruskan penyebaran dakwah dan ilmu agama di tanah Betawi. Di antara muridnya adalah K. H. Thabrani Paseban, K. H. Abdul Ghoni Basmol, K. H. Abdullah Syafi’i Balimatraman, K. H. Ahmad Muhajirin (Ponpes An-Nida Bekasi), K. H. Abdul Razak Ma’in Tegal Parang, K. H. Muhammad Najihun Kosambi, K. H. Nursan Batuceper, K. H. Nahrawi Kuningan, K. H. Saidi Ciputat, K. H. Radji’un (Attahiriyah, Kampung Melayu)