Meski orang tuanya memiliki pesantren, tapi dia dikirim untuk mondok di Madrasah Al Munawwir Krapyak, Kota Yogyakarta, yang diasuh oleh KH Ali Maksum. Selepas dari pondok, Gus Yahya melanjutkan pendidikan tinggi di Fakultas Ilmu Sosial dan Ilmu Politik Universitas Gadjah Mada (FISIP UGM). Gus Yahya juga aktif di organisasi Himpunan Mahasiswa Islam (HMI) Cabang Yogyakarta.
Pada masa Presiden Gus Dur pernah ditunjuk jadi Juru Bicara Presiden. Pernah juga jadi Anggota Dewan Pertimbangan Presiden (Wantimpres) 2014-2019 pada era Jokowi. Sempat aktif di PKB. Tapi dia merasa politik bukan jalan hidupnya. Karena di politik banyak intrik, lantas Gus Yahya menekuni bidang pendidikan. Dia juga sering diundang menjadi pembicara internasional. Langanan jadi pembicara pembicara dalam forum American Jewish Committee (AJC) di Israel.
Gus Yahya paling lantang menyiarakan konsep rahmat, sebagai solusi untuk mengatasi konflik dunia, termasuk konflik yang disebabkan agama. Pada 2014, Gus Yahya juga tercatat menjadi salah satu inisiator pendiri Institut keagamaan di California, Amerika Serikat yaitu Bayt Ar-Rahmah Li adDa’wa Al-Islamiyah rahmatan Li Al-alamin yang mengkaji agama Islam untuk perdamaian dan rahmat alam.
Baca juga: Gus Yahya Sah Jadi Ketum PBNU
