Latar belakang kelahiran Nama sebenar beliau ialah Ma'sum bin Muzayyin dan berasal dari Lasem Jawa Tengah, Indonesia. Lasem dikenali sebagai Tiongkok kecil kerana merupakan kota awal pendaratan orang Tionghoa di tanah Jawa. Beliau dilahirkan pada awal tahun 1890an, namun tanggal kelahiran beliau tidak dapat dipastikan secara tepat. Penukaran nama kepada Muhammad Khalil adalah kerana mengambil tabarruk guru yang dikasihinya yang bernama Kiai Khalil Bengkalan yang berasal dari Pulau Madura Jawa Timur. Maka masyhurlah nama beliau di Malaya pada ketika itu dengan nama Kiai Khalil Bin Abu Ammar. Sementara ayahnya iaitu Kiyai Muzayyin, menukar nama kepada Kiai Abu Ammar selepas menunaikan haji di Mekah al-Mukarramah. Ini kerana telah menjadi adat masyarakat Jawa akan menukar nama yang baru setelah menunaikan haji. Ia juga berkemungkinan tabarruk nama panggilan baru dengan tanah suci Mekah yang penuh barakah. Pendidikan awal Beliau mula belajar di Pesantren Rembang dan kemudian berpindah ke Pesantren Pati, dan akhir sekali di Tebu Ireng Jombang Jawa Timur. Dikatakan pada awal pengajiannya, beliau selalu cuai dalam belajar. Sikap beliau tersebut sampai kepada pengetahuan bapanya, lalu beliau dipanggil pulang dan diserahkan tugas memelihara kambing ternakan. Setelah melalui tugasan tersebut, maka beliau menyedari bahawa peritnya sebagai penggembala kambing. Ekoran itu, beliau memohon kepada ayahnya untuk kembali meneruskan pembelajaran di pondok. Di Pondok Tebu Ireng , beliau telah berguru dengan Kiai Hasyim Asy'ari. Kiai Hasyim Asy'ari adalah seorang ulama terkenal di Indonesia dan merupakan salah seorang pengasas Nahdhatul Ulama (NU). Di samping itu, Kiai Khalil turut berguru dengan Kiai Khalil Bengkalan/Madura, iaitu ulama yang diambil tabarruk namanya. Kiai Khalil Bengkalan/Madura merupakan guru kepada Kiai Hasyim Asy'ari sewaktu beliau belajar di daerah Madura. Namun terjadi satu peristiwa pelik di mana Kiai Khalil Bengkalan datang untuk berguru dengan bekas anak muridnya di Tebu Ireng. Puas ditolak namun Kiai Khalil Bengkalan tetap dengan pendiriannya untuk berguru dengan Kiai Hasyim Asy'ari. Akhirnya permintaannya itu dipersetujui beliau. Kiai Khalil Bengkalan/ Madura adalah seorang yang mahir dalam pelbagai ilmu, terutama dalam ilmu Nahu, Sorof, Balaghah, Fiqh dan lain-lain. Hasil perguruan ulama yang dibicarakan ini dengan Kiai Khalil Bengkalan/Madura tersebut, beliau mempunyai kemahiran yang agak luar biasa dalam ilmu nahu bahasa Arab. Antara kitab yang menjadi kebiasaan dalam kelasnya ialah kitab Alfiah. Hal ini turut diperakui sendiri oleh Sheikh Mahmud al-Bukhari, yang menyatakan bahawa kemahirannya mendatangkan syahid dalam masalah nahu Arab, sehingga digelar sebagai Khalil Imran. Menurut Ustaz Ahmad Mukhit, iaitu Mu'allim Indra Wangsa, menyatakan bahawa Kiai Khalil belajar hanya tiga tahun sahaja. Namun dalam masa tersebut beliau dikurung oleh gurunya dan menghabiskan seluruh masanya untuk mempelajari pelbagai ilmu. Dikatakan beliau tidak tidur sepanjang malam untuk mentelaah kitab-kitab sehingga menjelang Subuh. Bahkan, beliau juga dikatakan mendapat ilmu secara ladunni. Karya penulisan Kiai Khalil bin Abu Ammar juga menghasilkan karya-karya penulisan yang banyak. Boleh dikatakan hampir kesemua karya penulisan beliau adalah berasal daripada tulisan tangan beliau sendiri. Berdasarkan penemuan karya penulisan tersebut, dilihat beliau banyak menghasilkan karya-karya dalam bidang-bidang tertentu iaitu ilmu nahu bahasa Arab, ilmu Falak, ilmu Qawa'id Fiqh dan sebagainya. Kewafatan Ketika berusia lebih 70 tahun, beliau kembali ke rahmatullah pada penghujung tahun 1978 selepas menunaikan haji bersama isteri, Nyai Salbiah dan anak perempuan mereka, Hajah Sofiyyah di Mekah. Jasadnya telah disembahyangkan di hadapan Kaabah dan dikebumikan di perkuburan Ma'la.