Sebelum Muhammadiyah Cabang Surabaya didirikan, K.H. Ahmad Dahlan sudah sering mela­kukan tabligh ke daerah ini. Tabligh-tabligh itu dilaksanakan berupa pengajian yang diseleng­garakan di Peneleh, Surabaya. Dalam pengajian-pengajian itulah Bung Karno muda dan Roeslan Abdul Gani muda, untuk pertama kalinya mende­ngarkan penjelasan tentang ajaran Islam dari K.H. Ahmad Dahlan.

Setiap melaksanakan tabligh di Surabaya, K.H. Ahmad Dahlan biasanya bermalam di penginapan. Namun, suatu malam ia didatangi seorang tamu yang memintanya agar setiap K.H. Ahmad Dahlan ke Surabaya bersedia untuk menginap di rumahnya. Tamu itu ialah Kiai Haji Mas Mansur. Mas Mansur selalu mengikuti pengajian yang diberikan oleh K.H. Ahmad Dahlan, dan ia sangat tertarik oleh isi kajian yang diberikannya, serta tertarik juga akan kesederhanaannya.

Mas Mansur lahir pada hari Kamis tanggal 25 Juni 1896 di Surabaya. Ibunya bernama Raudhah, seorang wanita kaya yang berasal dari keluarga Pesantren Sidoresmo, Wonokromo, Surabaya. Ayahnya bernama K.H. Mas Ahmad Marzuqi, seorang pioneer Islam, ahli agama yang terkenal di Jawa Timur pada masanya. Dia berasal dari keturunan bangsawan Astatinggi Sumenep, Madura. Dia dikenal sebagai imam tetap dan khatib di Masjid Agung Ampel Surabaya, suatu jabatan terhormat pada saat itu.

Masa kecilnya dilalui dengan belajar agama pada ayahnya sendiri. Di samping itu, dia juga belajar di Pesantren Sidoresmo dengan Kiai Muhammad Thaha sebagai gurunya. Pada tahun 1906, ketika Mas Mansur berusia sepuluh tahun, dia dikirim oleh ayahnya ke Pondok Pesantren Demangan, Bangkalan, Madura. Di sana, dia mengkaji Al-Qur‘an dan mendalami kitab Alfiyah ibn Malik kepada Kiai Khalil. Belum lama dia belajar di sana, kurang lebih dua tahun, Kiai Khalil meninggal dunia, sehingga Mas Mansur meninggalkan pesantren itu dan pulang ke Surabaya.

Sepulang dari Pesantren Demangan pada tahun 1908, oleh orang tuanya disarankan untuk menunaikan ibadah haji dan belajar di Makkah pada Kiai Mahfudz yang berasal dari Pondok Pesantren Termas, Jawa Tengah. Setelah kurang lebih empat tahun belajar di sana, situasi politik di Saudi memaksanya pindah ke Mesir. Penguasa Arab Saudi, Sultan Syarif Hussen, mengeluarkan instruksi bahwa orang asing harus meninggalkan Makkah supaya tidak terlibat sengketa itu. Pada mulanya ayah Mas Mansur tidak mengizinkannya ke Mesir, karena citra Mesir (Kairo) saat itu kurang baik di mata ayahnya, yaitu sebagai tempat bersenang-senang dan maksiat. Meskipun demi­kian, Mas Mansur tetap melaksanakan keinginannya tanpa izin orang tuanya. Kepahitan dan kesulitan hidup —karena tidak mendapatkan kiriman uang dari orang tuanya untuk biaya sekolah dan biaya hidup— harus dijalaninya. Oleh karena itu, dia sering berpuasa Senin dan Kamis dan mendapatkan uang dan makanan dari masjid-masjid. Keadaan ini berlangsung kurang lebih satu tahun, dan setelah itu orang tuanya kembali mengiriminya dana untuk belajar di Mesir.

Di Mesir, dia belajar di Perguruan Tinggi Al-Azhar pada Syaikh Ahmad Maskawih. Suasana Mesir pada saat itu sedang gencar-gencarnya membangun dan menumbuhkan semangat kebangkitan nasionalisme dan pembaharuan. Banyak tokoh memupuk semangat rakyat Mesir, baik melalui media massa maupun pidato. Mas Mansur juga memanfaatkan kondisi ini dengan membaca tulisan-tulisan yang tersebar di media massa dan mendengarkan pidato-pidatonya. Ia berada di Mesir selama kurang lebih dua tahun. Sebelum pulang ke tanah air, terlebih dulu dia singgah kembali ke Makkah selama satu tahun, dan pada tahun 1915 dia pulang ke Indonesia.

Sepulang dari belajar di Mesir dan Makkah, ia menikah dengan puteri Haji Arif yaitu Siti Zakiyah yang tinggalnya tidak jauh dari rumahnya. Dari hasil pernikahannya itu, mereka dikaruniai enam orang anak, yaitu Nafiah, Ainurrafiq, Aminah, Muhammad Nuh, Ibrahim dan Luk-luk. Disamping menikah dengan Siti Zakiyah, dia juga menikah dengan Halimah. Dia menjalani hidup dengan istri kedua ini tidak berlangsung lama, hanya dua tahun, karena pada tahun 1939 Halimah meninggal dunia.

Langkah awal Mas Mansur sepulang dari belajar di luar negeri ialah bergabung dalam Syarikat Islam. Peristiwa yang dia saksikan dan alami baik di Makkah, yaitu terjadinya pergolakan politik, mau­pun di Mesir, yaitu munculnya gerakan nasionalisme dan pembaharuan merupakan modal baginya untuk mengembangkan sayapnya dalam suatu organisasi. Pada saat itu, SI dipimpin oleh HOS. Cokroaminoto, dan terkenal sebagai organisasi yang radikal dan revolusioner. Ia dipercaya sebagai Penasehat Pengurus Besar SI.

Selain itu, Mas Mansur juga membentuk majelis diskusi bersama Abdul Wahab Hasbullah yang diberi nama Taswir al-Afkar (Cakrawala Pemikiran). Terbentuknya majelis ini diilhami oleh keadaan masya­rakat Surabaya yang diselimuti kabut keko­lotan. Masyarakat sulit diajak maju, bahkan mereka sulit menerima pemikiran baru yang berbeda dengan tradisi yang mereka pegang. Taswir al-Afkar merupakan tempat berkumpulnya para ulama Surabaya yang sebelumnya mereka mengadakan kegiatan pengajian di rumah atau di surau masing-masing. Masalah-masalah yang dibahas berkaitan dengan masalah-masalah yang bersifat keagamaan murni sampai masalah politik perjuangan melawan penjajah.

Aktivitas Taswir al-Afkar itu mengilhami lahirnya berbagai aktivitas lain di berbagai kota, seperti Nahdhah al-Wathan (Kebangkitan Tanah Air) yang menitikberatkan pada pendidikan. Sebagai kelanjutan Nahdhah al-Wathan, Mas Mansur dan Abdul Wahab Hasbullah mendirikan madrasah yang bernama Khitab al-Wathan (Mimbar Tanah Air), kemudian madrasah Ahl al-Wathan (Keluarga Tanah Air) di Wonokromo, Far’u al-Wathan (Cabang Tanah Air) di Gresik dan Hidayah al-Wathan (Petunjuk Tanah Air) di Jombang. Kalau diamati, dari nama yang dimunculkan, yaitu wathan yang berarti tanah air, maka dapat diketahui bahwa kecintaan mereka terhadap tanah air sangat besar. Mereka berusaha mencerdaskan bangsa Indonesia dan berusaha mengajak mereka untuk membebaskan tanah air dari belenggu penjajah. Pemerintahan sendiri tanpa campur tangan bangsa lain, itulah yang mereka harapkan.