Na południu od Wałbrzycha, jeden ze szczytów nazwano Zamkową Górą (618 m n.p.m.), ze względu na położony w pobliżu zamek. Pozostały po nim jedynie mury oraz brama ale bez wątpienia warto wspiąć się na górę dość stromą ścieżką. Przy dobrej pogodzie, będziemy w stanie dojrzeć panoramę miasta przez korony drzew.

Sam zamek nosi nazwę Nowy Dwór (dawniej Ogorzelec) i powstał najprawdopodobniej za czasów panowania książąt piastowskich, rządzonych na tych terenach przez m.in. Bolka I oraz II. Miał on za zadanie chronić granicznych terenów przez Czechami. Zniszczenia zamku dokonał pożar w 1581 r., wywołany przez piorun.