Awal mulanya STAIN Kudus merupakan cabang Fakultas Ushuluddin IAIN Walisongo Semarang. Tahun 1969 IAIN Walisongo berdiri di kota Kudus, secara resmi tepatnya pada tanggal 6 April 1970 berdasarkan surat keputusan Menteri Agama. Fakultas Ushuluddin di Kudus dengan segala upaya mencoba untuk menjadi Perguruan Tinggi sendiri di kota Kudus, dan tidak menginduk dari Semarang. Pimpinan Fakultas Ushuludin di kota Kudus kemudian melalui Rektor IAIN Walisongo Semarang mengusulkan kepada Menteri Agama agar didirikan Perguruan Tinggi Negeri di Kudus yang memiliki format kelembagaan berbeda dengan Fakultas yaitu STAIN (Sekolah Tinggi Agama Islam Negeri).
Pada bulan Maret 1997 keluarlah surat Keputusan Presiden Republik Indonesia Nomor 11 Tahun 1997 tentang Sekolah Tinggi Agama Islam Negeri. Dengan keluarnya Keputusan Presiden tersebut, terdapat 33 Fakultas Daerah dari 14 IAIN di seluruh Indonesia berubah statusnya menjadi STAIN, termasuk Fakultas Ushuluddin IAIN Walisongo Semarang yang berada di Kudus beralih status menjadi STAIN Kudus. Di awal berdirinya, STAIN Kudus baru mempunyai 3 jurusan, yaitu Jurusan tarbiyah, Syariah, dan Ushuluddin, yang masing-masing memiliki satu program studi. Jurusan Tarbiyah dengan Program Studi Pendidikan Agama Islam (PAI), Jurusan Syariah dengan Program Studi Ahwal Syakhshiyyah (AS), dan Ushuluddin dengan Program Studi Tafsir Hadits (TH).
Pada tahun 2017, Jurusan Tarbiyah resmi beralih nama menjadi Fakultas Tarbiyah dengan terbitnya Peraturan Presiden No 27 Tahun 2018. Progam studi PGMI berdiri sejak 2013 meneguhkan diri sebagai lembaga pendidikan tenaga kependidikan (LPTK) yang focus penyiapan tenaga ahli dan trampil sebagai guru madrasah ibtidaiyah,dengan kekhususan sebagai pendidik yang mempunyai berbagai keterampilan khusus sebagaimana tertuang dalam struktur kurikulum prodi PGMI.
Saat ini Program Studi PGMI secara struktural berada di bawah unit penyelenggara program studi (UPPS) Fakultas Tarbiyah Institut Agama Islam Negeri (IAIN) Kudus, dan sejak tahun 2021 sudah menerapkan kurikulum MBKM dengan menyelenggarakan kegiatan pembelajaran di bidang pendidikan SD/MI