Abdul Qahhar Mudzakkar lahir pada tanggal 24 Maret 1921 di Desa Lanipa – Distrik Ponrang, kabupaten Luwu yang terletak di pantai barat Teluk Bone, Sulawesi Selatan. Beliau adalah seorang keturunan Bugis Luwu, dilahirkan sebagai anak kedua dari tiga belas orang bersaudara dan juga sebagai anak laki-laki pertama dari pasangan Malinrang dengan Hajjah Kessa.
Setelah tamat sekolah dasar pada tahun 1934 di Lanipa, Abdul Qahhar melanjutkan ke Standaard School Muhammadiyah di Palopo selama 4 tahun. Sebagai anak laki-laki pertama dari keluarga cukup mampu, Abdul Qahhar oleh orang tuanya pada tahun 1937 dikirim ke Solo – Jawa Tengah, untuk melanjutkan pendidikannya di Sekolah Guru Mu’allimin Muhammadiyah.