Rozrzutny tryb życia sprawił, iż Dr Kaselovsky stracił majątek i ostatecznie sprzedał jednak posiadłość w 1937 r. kompanowi karcianemu.
Ten z kolei ofiarował ją swej ukochanej Alice Koetting, o której rękę, jak świadczą źródła, bardzo długo się starał. Piękna Alice, uzdolniona śpiewaczka, przyjmując w końcu oświadczyny została – ni mniej ni więcej - Panią Baronową Pergler von Perglas.
Z reklam w lokalnej prasie wynika, iż Baronowie otworzyli na wzgórzu hotel i restaurację. Nie było to jednak, mówiąc kolokwialnie, miejsce dla zwykłego zjadacza chleba. Wnętrza urządzono ze smakiem i po wielkopańsku, a z zachowanych fotografii wynika, że Baronowie byli koneserami sztuki oraz zbieraczami osobliwości.
Wojenne życie w Karpaczu i okolicach kurortu upływało leniwie i pod pewnymi względami przypominało uroki wiejskiego życia.
Zimą 1944 r. do Karpacza i w okolice przeniesiono najważniejsze urzędy III Rzeszy z niemal codziennie bombardowanego Berlina. Proces ten poprzedziła wizyta inspekcyjna szefa protokołu Alexandra von Dornberga mająca na celu wybór odpowiednich do tego obiektów. W efekcie w stronę Karpacza ruszyły transporty ludzi, dokumentów i najwartościowszych przedmiotów.
Na terenie Księżej Góry ulokowano ambasadora Węgier wraz z orszakiem. Świadkowie potwierdzają, że już wcześniej na "Pfaffenbergu" rezydowali wysoko postawieni goście, tacy jak Hermann Goering z rodziną.
Dla badaczy historii tego obiektu bezcenne są wspomnienia Marii (Missi) Wasilczikow opublikowane pod tytułem "Dzienniki Berlińskie".
O kurorcie i życiu codziennym pisała: "jeśli ktoś pozostaje tu przez cały czas, wszystko staje się po prostu zbyt nierzeczywiste i odległe, natomiast leniwymi popołudniami (…) spędzamy czas spokojnie, odwiedzając się nawzajem w porze podwieczorku."
Jeden z przybyszy, odwiedzający w tym czasie Karpacz, zanotował w swoich opublikowanych wspomnieniach: "ministerstwo ewakuowało do Krummhuebel 500 osób (...) Pensjonaty i hotele są prymitywne. (...) Cała służba jest tu czeska, a wszyscy robotnicy w tartakach to Serbowie i Włosi od Badoglia, toteż Krummhuebel stał się rajem dla szpiegów."
Oczywiście uwaga o złym stanie bazy turystycznej nie dotyczyła posiadłości na Księżej Górze, gdzie nadal funkcjonowała luksusowa restauracja dla elit.
W restauracji na wzgórzu, pomimo wojennej biedy, dostępne były nawet takie rarytasy, jak - brzoskwinie zimą i elegancki alkohol
Powojenne losy Księżej Góry spowija gęsta mgła tajemnic, plotek i niedomówień. W 1945 r. weszło wojsko a teren ten stał się ufortyfikowanym i najpilniej strzeżonym miejscem w kotlinie
Przejęty przez Państwo w "celu realizacji narodowych planów gospodarczych", odizolowany od miasta, został zamknięty na niemalże dwanaście lat rozpalając wyobraźnię zarówno drobnych poszukiwaczy poniemieckich pozostałości, jak też oficjalnych przedstawicieli służ odpowiedzialnych za tzw. "restytucję" zagrabionych zbiorów. Nie jest potwierdzone, czy faktycznie w sztolniach pod Księżą Górą ukryto skarby Goeringa.
Nie zachowały się okresu powojennego żadne wiarygodne źródła archiwalne, jedynie wspomnienia okolicznych mieszkańców. Często dotyczyły one wizyt komunistycznych dygnitarzy, gdyż bywali tu wraz ze świtą: Józef Cyrankiewicz, Bolesław Bierut, Piotr Jaroszewicz, Władysław Gomułka, Edward Gierek i Wojciech Jaruzelski.
Willa "Zameczek" wraz z tzw. budynkiem "bukowym": luksusowo i stylowo urządzone, a przy tym położone z dala od innych zabudowań, z łatwą do obserwacji przestrzenią stanowiły idealne miejsce tajnych spotkań i działań.
Ponadto obiekt posiadał bezpośrednie połączenie telefoniczne i telegraficzne z biurem KC PPR (później KC PZPR) w Warszawie.
