Najstarsi mieszkańcy miasta nazywają ją Górą Goeringa lub Gierkówką, od nazwisk najsłynniejszych gości "Zameczku", stanowiącego w przeszłości - jak twierdzą niektórzy - osobistą rezydencję Hermana Goeringa, podarowaną za zasługi wojenne. Czy "Zameczek" rzeczywiście był, jak głoszą niepotwierdzone pogłoski, myśliwską rezydencją "Wielkiego Łowczego III Rzeszy", nie do końca jest jasne. Prawdą pozostaje, że gościł tu końcem 1944 r. lub początkiem 1945 r.
Przeszłość Księżej Góry okrywa woal tajemnic, niedomówień i wymownego milczenia, a badając źródła historyczne, nietrudno odnieść wrażenie, że komuś zależało na tym, aby niewygodne fakty nigdy nie ujrzały światła dziennego.
...w każdej legendzie jest ziarnko prawdy, dlatego nie powinno zaskakiwać, że Księża Góra stanowiła w przeszłości miejsce wydobycia cennych kruszców
Wyrastająca wśród karkonoskich łąk Księża Góra (wysokość 628 m n. p. m.) stanowi charakterystyczny element krajobrazu pogranicza Karpacza i Ściegien. Z jej szczytu rozciąga się zapierająca dech panorama Karkonoszy. Miejsce to swój baśniowy rodowód wywodzi od czasów Liczyrzepy, jego chciwości przypisując usypanie gigantycznego kopca, w którym, rzekomo, skrył zgromadzone złoto, srebro i kamienie szlachetne.
Fantastyczny widok powodował, iż było to miejsce chętnie odwiedzane przez amatorów pieszych wędrówek.
W 1895 r. stało się własnością milionera dr Kaselovskiego z Berlina
Postać tego człowieka obrosła legendą - przez jednych postrzegany, jako hojny dobroczyńca, przez innych jako nałogowy hulaka - stworzył na "Pfaffenbergu" swoją letnią rezydencję.
Wśród jego dokonań wymienia się sfinansowanie budowy drogi, wijącej się serpentynami na szczyt Księżej Góry, rozbudowę posiadłości o kolejne budynki oraz, chętne dzielenie się majątkiem z ubogimi.
Jemu też przypisuje się stworzenie na wzgórzu swoistej twierdzy.
W 1999 r. Księżą Górę wraz z zabudowaniami przejął Dolnośląski Urząd Wojewódzki.
Wielokrotnie bywali tu ówcześni dostojnicy państwowi: Prezydent Lech Wałęsa i Prezydent Aleksander Kwaśniewski, a także premier Donald Tusk, Kazimierz Marcinkiewicz, Leszek Miller, a z zagranicznych gości: Vaclav Havel, Angela Merkel i Alaksandr Milinkiewicz, kandydat w wyborach prezydenckich na Białorusi.
Niewątpliwie niejasna przeszłość "Księżej Góry" stwarza dogodne warunki do powstawania mitów, fantazji i gawędziarskich opowieści. Nie zmienia to faktu, że jest też ona fascynującym przykładem splatania się bogatej historii tych ziem z losami ludzi, a nawet całych narodów.