Cerca de la casa de Jagannatha Misra, el padre del Gran Maestro Sri Caitanya, vivía una familia de devotos. Sri Madhava Misra y Sri Ratnavati Devi eran muy amigos de la familia del Gran Maestro y Ratnavati trataba a Saci-devi como su hermana mayor.

Esa pareja de devotos dio nacimiento a Gadai, el Señor Gadadhara Pandita, quien era apenas un año más joven que el Gran Maestro, y siempre jugaba con Él en su niñez.

En diferentes fuentes se describen los posibles lugares de nacimiento de Gadadhara Pandita. Algunos dicen que fue en la villa de Beliti, otros dicen que fue en Sri Hatta, también conocida como Chittagong. Sri Gadadhara Pandita apareció en el año 1486, en el mes de Vaishaka, en el día de Amavasya Tithi, la Luna Nueva.

Su hermano menor se llamaba Vaninatha. Gadadhara Pandita era miembro del clan brahmana Varendra y Kashyapa Gotra. A los 13 años de edad fue a vivir en la casa de su tío materno, en Navadvipa, cerca de la casa de Jagannatha Misra. Gadadhara Pandita permaneció brahmacari por toda su vida.