Al-Habib Ali Alhabsyi adalah putera dari Al-Habib Abdurrahman Alhabsyi. Ayah beliau tinggal di Jakarta. Ibunda beliau yaitu Nyai Salmah berasal dari Jatinegara, Jakarta Timur. Dalam perkawinannya dengan Al-Habib Abdurrahman Alhabsyi lama sekali tidak memperoleh seorang putera pun. Pada suatu ketika Nyai Salmah bermimpi menggali sumur dan sumur tersebut airnya melimpah-limpah hingga membanjiri sekelilingnya. Lalu diceritakanlah mimpinya itu kepada suaminya. Mendengar mimpi istrinya, Al-Habib Abdurrahman segera menemui Al-Habib Syeikh bin Ahmad Bafaqih untuk menceritakan dan menanyakan perihal mimpi istrinya tersebut. Lalu Al-Habib Syeikh menerangkan tentang perihal mimpi tersebut bahwa Nyai Salmah istri Al-Habib Abdurrahman akan mendapatkan seorang putra yang saleh dan ilmunya akan melimpah-limpah keberkatannya. Apa yang dikemukakan oleh Al-Habib Syeikh itu tidak berapa lama menjadi kenyataan. Nyai Salmah mengandung dan pada hari Minggu tanggal 20 Jumadil ‘Awal 1286 bertepatan tanggal 20 April 1870 lahirlah seorang putra yang kemudian diberi nama Ali bin Abdurrahman Alhabsyi.
Al-Habib Abdurrahman Alhabsyi tidak lama hidup mendampingi putra yang beliau cintai tersebut. Beliau berpulang ke rahmatullah ketika putra beliau masih berumur 10 tahun. Tetapi sebelum beliau wafat, beliau sempat menyampaikan suatu wasiat kepada istrinya agar putra beliau hendaknya dikirim ke Hadramaut dan Makkah untuk belajar ilmu agama Islam di tempat-tempat tersebut.
Untuk memenuhi wasiat suaminya, Nyai Salmah menjual gelang satu-satunya perhiasan yang dimilikinya untuk biaya perjalanan Habib Ali Alhabsyi ke Hadramaut dan Makkah. Karena di waktu wafatnya Al-Habib Abdurrahman Alhabsyi tidak meninggalkan harta benda apapun. Dalam usia 10 tahun berangkatlah Al-Habib Ali Alhabsyi dari Jakarta menuju Hadramaut, dengan bekal sekedar ongkos tiket kapal laut sampai di tempat yang dituju.
Sesampainya di Hadramaut, Al-Habib Ali sebagai seorang anak yang sholeh, tidak mensia-siakan masa mudanya yang berharga itu untuk menuntut ilmu yang bermanfaat, sambil mencari rizki yang halal untuk bekal hidup beliau selama menuntut ilmu di tempat yang jauh dari ibunya. Sebab beliau menyadari bahwa ibunya tidak mampu untuk mengirimkan uang kepada beliau selama menuntut ilmu di luar negeri tersebut.
Diantara pekerjaan beliau selama di Hadramaut dalam mencari rizki yang halal untuk bekal menuntut ilmu ialah mengambil upah menggembala kambing. Pekerjaan menggembala kambing ini rupanya telah menjadi kebiasaan kebanyakan para sholihin, terutama para Anbiya’. begitulah hikmah Ilahi dalam mendidik orang-orang besar yang akan diberikan tugas memimpin umat ini.
Di antara guru-guru beliau yang banyak memberikan pelajaran dan mendidik beliau selama di Hadramaut ialah Al-’Arif billah Al-Imam Al-Habib Ali bin Muhammad Alhabsyi, dan juga Al-Imam Al-Habib Ahmad bin Hasan Al-’Attos serta yang lain daripada ulama-ulama pada saat itu.
Setelah belajar di Hadramaut, beliau melanjutkan pelajaran di tanah suci Makkah, dibawah didikan ulama-ulama besar disana, diantaranya Mafti Makkah Al-Imam Muhammad bin Husin Alhabsyi, Sayid Bakri Sa’ta, As-Syeikh Muhammad Said Babsail, As-Syeikh Umar Hamdan dan lain-lain.
Berkat doa ibu dan ayah beliau, juga berkat doa para datuk-datuk beliau, terutama datuk beliau RAsullulloh SAW, dalam masa 6,5 tahun belajar di luar negeri Al-Habib Ali telah memperoleh ilmu Islam yang murni, luas dan mendalam yang dibawanya kembali ke Indonesia.
Sekembalinya di tanah air, mulailah beliau menjalankan dakwahnya, mengajak umat Islam untuk mengikuti ajaran-ajaran Islam yang suci dengan dasar cinta kepada Allah dan Rasul-Nya SAW.
Selain di pengajian tetap di majlis ta’lim Kwitang yang diadakan setiap hari Minggu pagi sejak kurang lebih 70 tahun yang lalu hingga sekarang dengan kunjungan umat Islam yang berpuluh-puluh ribu, beliau juga aktif menjalankan dakwah di lain-lain tempat di seluruh Indonesia. Bahkan hingga ke desa-desa yang terpencil di lereng-lereng gunung. Selain itu Al-Habib Ali Alhabsyi juga berdakwah ke Singapura dan Malaysia.
Beliau selain ahli dalam menyampaikan dakwah ilAllah, beliau juga terkenal dengan akhlaknya yang tinggi, baik terhadap kawan maupun terhadap orang yang tidak suka kepadanya. Semuanya dihadapinya dengan ramah-tamah dan sopan santun yang tinggi. Terlebih lagi khidmat beliau terhadap ibunya adalah sangat luar biasa. Dalam melakukan rasa bakti kepada ibunya sedemikian ikhlas dan tawadhu’nya, sehingga tidak pernah beliau membantah perintah ibunya. Biarpun beliau sedang berada di tempat yang jauh, misalnya sewaktu beliau sedang berdakwah di Surabaya ataupun di Singapura, bila beliau menerima telegram panggilan dari ibunya, segera beliau pulang secepat-cepatnya ke Jakarta untuk memenuhi panggilan ibunya tersebut.
Maka tidak heran apabila ilmu beliau sangat berkat, dan dakwah beliau dimana-mana mendapat sambutan yang menggembirakan. Setiap orang yang jumpa dengan beliau, apalagi sampai mendengarkan pidatonya, pastilah akan tertarik. Terutama di saat beliau mentalqinkan dzikir atau membaca sholawat dengan suara mengharukan, disertai tetesan air mata, maka segenap yang hadir turut meneteskan air mata. Dan yang demikian itu tidak mungkin jika tidak dikarenakan keluar dari hati yang ikhlas, hati yang disinari oleh nur iman dan nur mahabbah kepada Allah dan Rasul-Nya SAW.
Beliau berpulang ke rahmatulloh pada hari Minggu tanggal 20 Rajab 1388 bertepatan dengan 13 Oktober 1968, di tempat kediaman beliau di Kwitang Jakarta, dalam usia 102 tahun menurut Hijriyah atau usia 98 tahun menurut perhitungan Masehi.
