Bersama kedua adik sepupunya ia hendak menuntut ilmu di Yogyakarta atas ajakan dari M. Sanusi Latief. Beliau adalah mantan Rektor di IAIN Imam Bonjol, Padang.
Sayangnya harapan untuk melanjutkan pendidikan di Yogyakarta harus tertunda. Pasalnya Madrasah Mu’allimin Muhammadiyah Yogyakarta menolak Syafii Maarif pada saat itu.
Sekolah tersebut menolaknya karena kursi untuk kelas 4 sudah penuh. Tetapi, tidak lama setelah ditolak di Madrasah Muallimin. Buya Syafii Maarif kembali mendaftar dan diterima, namun harus mengulang kuartal terakhir kelas tiga.
Selama di sekolah tersebut jiwa aktivis Muhammadiyah Buya Syafii Maarif mulai terasah. Tercatat ia pernah mengikuti Hizbul Wathan yang mana merupakan jenis kepanduan versi Muhammadiyah.
Buya Syafii Maarif juga aktif menulis dan pernah diamanahi sebagai Pemimpin Redaksi majalah Sinar. Kini organisasai tersebut dibawahi oleh Lembaga Pers Muallimin (LPM).
Awal petualangannya di Yogyakarta tidak semudah dibayangkan. Pasalnya pada 5 Oktober 1955 ayah dari Buya Syafii Maarif meninggal dunia.
Disebabkan tidak adanya biaya selepas ayahnya meninggal dunia. Buya Syafii Maarif sementara tidak dapat melanjutkan pendidikannya.
Tetapi, takdir membawanya ke Lombok untuk mengajar di sekolah Muhammadiyah Pohgading. Buya Syafii Maarif mengajar karena ajakan Konsul Muhammadiyah Lombok.