De resten van het voormalige kasteel Scharzfels liggen op een dolomietrots, die ongeveer 150 meter boven het Oderdal uitsteekt.
Het kasteel werd al rond 1000 gebouwd en diende ter bescherming van het klooster van Pöhlde, waarschijnlijk ook van de ertstransporten en de lange-afstandshandelsroutes met de Oderoversteekplaats op die locatie. Het kasteel behoorde oorspronkelijk toe aan het bisdom Maagdenburg, daarna kwam het in 1131 direct onder het rijk en in 1158 kwam het bij het Huis van Welf met Hendrik de Leeuw. De territoriale regel werd aanvankelijk door de graven van Scharzfeld uitgeoefend tot het begin van de 13e eeuw. Later werd het kasteel bewoond door de graaf van Hohnstein als leenheer. In 1593 nam het hertogdom Grubenhagen het kasteel over, dat nog steeds dienst deed als vesting, officieel bestuur en ook als statige staatsgevangenis. Tijdens de Zevenjarige Oorlog werd het kasteel, dat als onneembaar werd beschouwd, veroverd door Franse troepen en op 30 oktober 1761 vernietigd door alle gebouwen op te blazen.
De ruïnes, met verschillende kamers en gangen die in de rotsen zijn uitgehouwen en waarbij gebruik is gemaakt van natuurlijke holtes, waarvan sommige nog altijd toegankelijk zijn, en een open trap die via drie bogen naar het bovenste kasteel leidt, zijn nog steeds indrukwekkend. Van de 12 meter hoge, ooit imposante toren en een kerk op de rots zijn alleen de fundamenten nog zichtbaar. Het terras van het kasteelrestaurant biedt een prachtig uitzicht op het voorland van de Harz. Het kasteel is bereikbaar via vele wandelpaden, waaronder de Karstwandelroute en de BaudenSteig.