Najdawniejsze dzieje lokalizacji obrazu nie są znane. Z akt wizytacji biskupiej Stanisława Karnkowskiego odbytej w 1577 r. dowiadujemy się, że kościół brdowski, chociaż od niepamiętnych czasów nosił tytuł św. Wojciecha, to jednak przeważała w nim cześć do Matki Najświętszej, a główny ołtarz nosił tytuł Nawiedzenia. Pozwala to zakładać, że cześć ta wywodziła się właśnie dzięki obrazowi tutejszej Madonny.
Do rozwoju kultu przyczyniła się najwyraźniej wspomniana już peregrynacja obrazu Matki Bożej do Mąkoszyna i powrót do Brdowa. Wśród niewyjaśnionych okoliczności tych przenosin, godny uwagi jest fakt, że w miejsce obrazu Matki Bożej Zwycięskiej o. Gołdonowski postarał się dla Mąkoszyna o inny obraz, który kilka lat temu udało się uratować od całkowitego zniszczenia. Tym razem podarował on kopię wizerunku Matki Boskiej Częstochowskiej, nie chcąc zapewne osierocić miejscowego kościoła i istniejącego tam kultu. Po powrocie cudownego obrazu do kościoła brdowskiego umieścił go na honorowym miejscu, a nadto zlecił zbudować dla niego kaplicę, którą wykończył jego następca o. Klękowski, jeden z najdzielniejszych przeorów i proboszczów brdowskich.
Na temat kaplicy nie posiadamy bliższych danych. Wiadomo tylko, że była usytuowana od strony północnej, zbudowana z cegły i kryta dachówką, uzupełnianą przez wiele lat, począwszy od 1689 r. Były w niej zawsze dwa ołtarze - jeden dla cudownego obrazu, pobłogosławiony przez bpa Stanisława Domaniewskiego, drugi o niewiadomym tytule. Ołtarz Matki Bożej nie należał zapewne do bogatych, skoro krawiec Stefan Przanowski ufundował nowy w 1745 r. Istniał on zaledwie trzy lata. Po pożarze w. 1748 r., Jan i Anna Skarbkowie ufundowali nowy i ten przetrwał do czasu istnienia kaplicy.
Losy kaplicy mają bardzo złożoną historię. Zbudowana na słabych fundamentach, budziła dość wcześnie niepokój o dalsze przetrwanie. Po roku 1700 rysowały się jej ściany, wobec czego przeprowadzono jej restaurację w latach 1711-1714. W roku 1745 uzyskała nową polichromię, a także portal z kratą i napisem. Po pożarze w 1748 r. odzyskała swój właściwy wygląd, w czym pomogli liczni fundatorzy, hojni w datkach dla chwały Matki Bożej. Fundacje te nie objęły jednak wzmocnienia wadliwej zapewne konstrukcji i nie powstrzymały nieustannego procesu niszczenia. W 1784 r. rozebrano ją do fundamentów.
Kult maryjny koncentrował się w kaplicy z niemałą okazałością. Dobrodzieje obijali ją kosztownymi tkaninami, wotami i kandelabrami. Mnożyły się dla niej odrębne zapisy na naczynia liturgiczne i wreszcie na sukienki i firanki zasłaniające obraz. Nie wiemy dziś jak one wyglądały i z jakich tkanin je sporządzano. Wiemy jedynie że w 1668 r. było sześć firanek.
Lecz tak, jak kaplica nie miała szczęścia długiego trwania, tak i cudowny obraz dzielił jej trudną historię. Groźny pożar, który wybuchł 4 sierpnia 1748 r. doprowadził do kompletnej ruiny zarówno kościół jak i kaplicę. Obraz zdołano jednak wynieść z płonącej świątyni i umieścić go w oberży. Po tygodniu przeniesiono go wraz z Najświętszym Sakramentem do nowego domu Wincentego Borkowskiego, gdzie przebywał do 8 września, czyli do prowizorycznego pokrycia kaplicy.
Ponieważ proces upadku kaplicy posuwał się nieustannie i wszystkie dotychczasowe wysiłki w celu jej uratowania okazały się bezowocne, a wzrastający kult Madonny Brdowskiej domagał się lepszego miejsca, obraz przeniesiono podczas uroczystego nabożeństwa do dużego kościoła w dniu 8 grudnia 1784 r. Od tego czasu pozostawał w dużym ołtarzu aż do roku 1964, kiedy to wyjęto go stamtąd z okazji regotyzacji prezbiterium kościoła. Przez pewien czas wisiał on nad soborowym ołtarzem, później w 1970 r., umieszczono go w próbnej nastawie w kształcie tryptyku. W 1980 r., z inicjatywy o. Bronisława Matyszczyka, powrócił do dawnego barokowego ołtarza w prezbiterium. Zabezpieczono go ogniotrwałym pancerzem oraz stalową zasłoną ze sceną Zwiastowania Najświętszej Panny. Niewątpliwie ten ogniotrwały pancerz uratował obraz podczas ostatniego pożaru ołtarza. W wyniku bardzo wysokiej temperatury sam wizerunek Matki Bożej doznał dużych zmian w barwach karnacji, a także poważnego spaczenia podobrazia, niemniej jednak ocalał.