A templomot 1148-ban II. Géza király építteti hálából a Szűzanyának. A templom és a kegyszobor megússza a tatárjárást. 1456-ban itt misézik Kapisztrán János Hunyadi Nándorfehérvár visszavételére induló seregeivel.
1537-ben a terület földesura, Perényi Péter református hitre tériti át a falut. 1543-ban a területet elfoglalják a törökök. A kegytemplom először iszlám mecset, aztán szerb orthodox templom majd ismét református templom lesz. A kegyszobornak eközben nyoma vész.
A törökök kiűzése után egy évvel, 1687-ben több ízben is megjelenik a Szűzanya, és kéri, hogy templomát adják vissza. 1689-ben így a templomot visszakapják a katolikusok, a kegyhelyet a ferences rend gondozza. 1698-ban új kegyszobrot kap a templom, de ezt 1704-ben a kuruc fosztogatók elől Eszékre menekítik, ma is ott látható a Ferences templomban. A mai kegyszobor 1703-ban kerül a kegyhelyre, ezüst palástja 1784-ben készül. A templom 1739-1742 között nyeri el mai formáját.
A Gyűdi Szűzanya sok csodás gyógyulásért járt közbe, ezt a hálatáblák sokasága is bizonyítja. Ugyancsak csodás erejű a közeli forrás is, melynek vizét korsókban, üvegben viszik magukkal a zarándokok.
A máriagyűdi kegytemplomnak a Szentatya a Basilica Minor címet adományozta 2008-ban.