Η παλαιότερη δομή κάστρο χτίστηκε πριν από 1214 μ.Χ. και αργότερα επεκτάθηκε σε 2 κάστρα γύρω στο 1294? Ωστόσο, το 1537, ενας κεραυνος κατέστρεψε το επάνω κάστρο. Οι σημερινές δομές είχε επεκταθεί από 1650, πριν από τη ζημία από τους πιό πρόσφατους πολέμους και πυρκαγιές. Το 1764, ενας άλλος κεραυνος το κατέστρεψε και ξαναχτίστηκαν στο περίπου καποια τμήματα.
Όταν ο Rupert III της Γερμανίας έγινε ο βασιλιάς (αυτοκράτορας) της Γερμανίας το 1401, το κάστρο ήταν τόσο μικρο που μετά την επιστροφή του από τη στέψη του, αναγκάστηκε να κάνει στρατόπεδο έξω στο μοναστήρι του Augustinians », στην περιοχή του Πανεπιστημίου σημερινή πλατεία. Αυτό που επιθυμούσε ήταν περισσότερο χώρο για το περιβάλλον και την αυλή του για να εντυπωσιάσει τους καλεσμένους του, αλλά και να μετατρέψει το κάστρο σε επιπλεον αμυνα.
Μετά το θάνατο του Ruprecht της το 1410, η γη του διαιρέθηκε μεταξύ τεσσάρων γιων του. Η Παλατινάτο, η καρδιά των εδαφών του, δόθηκε στο μεγαλύτερο γιο, Ludwig III . Ludwig ήταν ο αντιπρόσωπος του αυτοκράτορα και ο ανώτατος δικαστής, και ήταν σε αυτήν την ικανότητα ότι, μετά το Συμβούλιο της Κωνσταντίας το 1415 και κατ 'εντολή του αυτοκράτορα Sigismund , που πραγματοποιήθηκε τον έκπτωτο αντιπάπας Ιωάννη XXIII υπό κράτηση πριν είχε ληφθεί σε Burg Eichelsheim (σήμερα Mannheim-Lindenhof).Κατά την επίσκεψή του στη Χαϊδελβέργη το 1838, ο Γάλλος συγγραφέας Βίκτωρ Ουγκώ πήρε ιδιαίτερη χαρά στη βόλτα ανάμεσα στα ερείπια του κάστρου.
