Холирудское abbey (opactwo Świętego Krzyża) została założona w 1128 roku przez króla Szkocji Dawida i i należał do mnichów-августинцам. Opactwo odgrywała ważną rolę, nie tylko religijnej, ale i w życiu politycznym w Szkocji. Tu odbywały się zebrania szlachty i wyższego duchowieństwa, tutaj koronowano i ślub szkoccy królowie. Królowie często przebywał w opactwie, położony jest w pobliżu zamku w Edynburgu, woli mieszkać tutaj, a nie w samym zamku, i już w końcu XV wieku w opactwie były prywatne apartamenty królewskie, a na początku XVI wieku król Jakub IV buduje pałac, przylegające do tyńcu – Holyrood house.

W połowie XVI wieku angielskie wojska, które opactwo, zniszczyła go – budynek stracili ołowianego dachu, zostały wycofane dzwony zrabowane kosztowności. Wkrótce rozpoczęła się Szkocka Reformacja, i opactwo zostało prawie całkowicie zniszczone. W 1686 roku król Jakub VII założył w Холируде kolegium jezuickiego, a w przyszłym roku opactwo stało katolickim. Kościół został odbudowany na nowo i w nim pojawiła się kaplica Starożytnego i szlachetny zawód orderu Ostu, zdobiona rzeźbionymi krzesłami według liczby rycerzy zakonu. Jednak w 1688 roku tłum powstańców wdarł się do kościoła, niszcząc kościół i kaplicę i осквернив starożytne królewskie groby. (Swoją kaplica pojawiła się u orderu Ostu tylko w 1911 roku w katedrze Św Idziego w Edynburgu.)

Źle wyremontowany dach załamał się w czasie huraganu w 1768 roku, i od tego czasu opactwo przebywa w tym stanie, w jakim możemy go zobaczyć teraz – malownicze ruiny, imponujące pozostałości dawnej świetności. Na przestrzeni 250 lat nie raz pojawiały się projekty renowacji i odbudowy opactwa, ale żaden z nich nie został wcielony w życie.