Na místě dnešní Lorety můžeme úctu k Panně Marii zaznamenat již od 14. století. První zmínka o mariánské kapli je z roku 1388.
Současná Loretánská kaple Panny Marie (Svatá chýše) byla postavena v roce 1668 hrabětem Zikmundem Bedřichem z Götzen a jeho manželkou Isabelou Marií, rozenou z Lípy, pánů na Boru a Nekmíři.
Základní kámen k ambitům byl položen 25. 5. 1685 a jejich stavba byla ukončena během tří let, kdy čtyři křídla uzavřela obdélníkové nádvoří, jehož střed tvořila Svatá chýše.
Již o sto let později se však celá stavba nacházela ve velmi špatném stavu. O obnovu celého areálu a také o vzkříšení tohoto mariánského poutního místa, jak dokládá kronika borské farnosti, se kolem roku 1850 postaral borský kaplan P. Andreas Riedl. V duchu pozdně barokního cítění byly tehdy architektonicky nově vyřešeny obě kaple v objektu frontispicia.
V nich pak byly instalovány ranně barokní oltáře Panny Marie Klatovské a Panny Marie Čenstochovské.