Am Südhang des Neuenberges unterhalb der Burgruine Neuenberg liegt eine Höhle, genannt das Zwergenloch. Die Höhle hat ihren Namen vom Volksmund erhalten, der so manche Geschichte von den Zwergen erzählen weiß.

Das Zwergenloch ist eine Kalk- und Tropfsteinhöhle von ca. 12 m Länge und 7 m Breite. Im Hintergrund befinden sich Gänge, von denen einer in den Berg führt. Oberhalb der Höhle soll sich ein weiterer Eingang befunden haben, der heute jedoch zugeschüttet ist. Es wird für möglich gehalten, dass einer der Gänge zur Burg Neuenberg führte und als geheimer Ausgang genutzt worden ist.

Ausgrabungen fanden Spuren urzeitlicher Nutzung aber auch aus der Zeit des dreißigjährigen Krieges.