Najdawniejsze dzieje lokalizacji obrazu nie są znane. Z akt wizytacji biskupiej Stanisława Karnkowskiego odbytej w 1577 r. dowiadujemy się, że kościół brdowski, chociaż od niepamiętnych czasów nosił tytuł św. Wojcie­cha, to jednak przeważała w nim cześć do Matki Naj­świętszej, a główny ołtarz nosił tytuł Nawiedzenia. Po­zwala to zakładać, że cześć ta wywodziła się właśnie dzięki obrazowi tutejszej Madonny.

 

Do rozwoju kultu przyczyniła się najwyraźniej wspomniana już peregrynacja obrazu Matki Bożej do Mąkoszyna i powrót do Brdowa. Wśród niewyjaśnionych okoliczności tych przenosin, godny uwagi jest fakt, że w miejsce obrazu Matki Bożej Zwycięskiej o. Gołdonowski postarał się dla Mąkoszyna o inny obraz, który kilka lat temu udało się uratować od całkowitego znisz­czenia. Tym razem podarował on kopię wizerunku Matki Boskiej Częstochowskiej, nie chcąc zapewne osierocić miejscowego kościoła i istniejącego tam kultu. Po powrocie cudownego obrazu do kościoła brdowskiego umieścił go na honorowym miejscu, a nadto zlecił zbudować dla niego kaplicę, którą wykończył jego następca o. Klękowski, jeden z najdzielniejszych przeorów i probo­szczów brdowskich.

 

Na temat kaplicy nie posiadamy bliższych danych. Wiadomo tylko, że była usytuowana od strony północnej, zbudowana z cegły i kryta dachówką, uzupełnianą przez wiele lat, począwszy od 1689 r. Były w niej zawsze dwa ołtarze - jeden dla cudownego obrazu, pobłogosła­wiony przez bpa Stanisława Domaniewskiego, drugi o niewiadomym tytule. Ołtarz Matki Bożej nie należał za­pewne do bogatych, skoro krawiec Stefan Przanowski ufundował nowy w 1745 r. Istniał on zaledwie trzy lata. Po pożarze w. 1748 r., Jan i Anna Skarbkowie ufundo­wali nowy i ten przetrwał do czasu istnienia kaplicy.

 

Losy kaplicy mają bardzo złożoną historię. Zbudowa­na na słabych fundamentach, budziła dość wcześnie niepokój o dalsze przetrwanie. Po roku 1700 rysowały się jej ściany, wobec czego przeprowadzono jej restaurację w latach 1711-1714. W roku 1745 uzyskała nową polichromię, a także portal z kratą i napisem. Po pożarze w 1748 r. odzyskała swój właściwy wygląd, w czym pomogli liczni fundatorzy, hojni w datkach dla chwały Matki Bożej. Fundacje te nie objęły jednak wzmocnienia wadliwej zapewne konstrukcji i nie powstrzymały nie­ustannego procesu niszczenia. W 1784 r. rozebrano ją do fundamentów.

 

Kult maryjny koncentrował się w kaplicy z niemałą okazałością. Dobrodzieje obijali ją kosztownymi tkanina­mi, wotami i kandelabrami. Mnożyły się dla niej odrębne zapisy na naczynia liturgiczne i wreszcie na sukienki i firanki zasłaniające obraz. Nie wiemy dziś jak one wy­glądały i z jakich tkanin je sporządzano. Wiemy jedynie że w 1668 r. było sześć firanek.

 

Lecz tak, jak kaplica nie miała szczęścia długiego trwania, tak i cudowny obraz dzielił jej trudną historię. Groźny pożar, który wybuchł 4 sierpnia 1748 r. dopro­wadził do kompletnej ruiny zarówno kościół jak i kapli­cę. Obraz zdołano jednak wynieść z płonącej świątyni i umieścić go w oberży. Po tygodniu przeniesiono go wraz z Najświętszym Sakramentem do nowego domu Wincentego Borkowskiego, gdzie przebywał do 8 wrze­śnia, czyli do prowizorycznego pokrycia kaplicy.

 

Ponieważ proces upadku kaplicy posuwał się nie­ustannie i wszystkie dotychczasowe wysiłki w celu jej uratowania okazały się bezowocne, a wzrastający kult Madonny Brdowskiej domagał się lepszego miejsca, obraz przeniesiono podczas uroczystego nabożeństwa do dużego kościoła w dniu 8 grudnia 1784 r. Od tego czasu pozostawał w dużym ołtarzu aż do roku 1964, kiedy to wyjęto go stamtąd z okazji regotyzacji pre­zbiterium kościoła. Przez pewien czas wisiał on nad soborowym ołtarzem, później w 1970 r., umieszczono go w próbnej nastawie w kształcie tryptyku. W 1980 r., z inicjatywy o. Bronisława Matyszczyka, powrócił do dawnego barokowego ołtarza w prezbiterium. Zabezpie­czono go ogniotrwałym pancerzem oraz stalową zasłoną ze sceną Zwiastowania Najświętszej Panny. Niewątpli­wie ten ogniotrwały pancerz uratował obraz podczas ostatniego pożaru ołtarza. W wyniku bardzo wysokiej temperatury sam wizerunek Matki Bożej doznał dużych zmian w barwach karnacji, a także poważnego spaczenia podobrazia, niemniej jednak ocalał.