In 1094 werd op deze plek in het hart van Bergen voor het eerst een kapel vermeld. Hier, in de dorpskapel, vond in 1422 het Mirakel van Bergen plaats, het Bloedwonder. Als gevolg van dit wonder ontstond er een bedevaart naar Bergen. De kapel werd uitgebreid tot een grote hallenkerk, gewijd aan de apostelen Petrus en Paulus, om de vele pelgrims te ontvangen. De kerk van Bergen was destijds een van de grootste kerken van Holland. De naam ‘Ruïnekerk’ ontstond pas enkele eeuwen later, nadat de kerk werd verwoest. Op 21 februari 1574, tijdens de Tachtigjarige Oorlog, werd de kerk geplunderd en afgebrand door een geuzenleger onder leiding van Diederik Sonoy. Een groot deel van de kerk ging verloren. Alleen het koor werd eind zestiende eeuw herbouwd. In 1799 kreeg de deels herbouwde kerk het weer te verduren, toen rond de kerk hevig werd gevochten door Frans-Bataafse en Engels-Russische troepen. De kogelgaten in het metselwerk zijn de stille getuigen van deze strijd.