Od konce 30. let už to šlo se zámkem zase z kopce - posloužil jako sídlo německé armády, krátce jako sirotčinec a dlouhá desetiletí jako sídlo Československé lidové armády, po roce 1989 v souvislosti se snahou o vybudování hotelu a casina pak byl zlikvidován původní barokní krov a následovala léta chátrání.