Alle Mittelgebirge wurden spätestens seit dem Tertiär gegenüber den Tiefländern, Senken und Becken als relative Hochschollen herausgehoben und waren somit bevorzugte Abtragungsbereiche. Deshalb fehlt ihnen weitgehend die Überdeckung durch mächtige quartäre Sedimente.
Die Reliefentwicklung reicht bis ins ausgehende Mesozoikum und Tertiär zurück. Somit unterlag sie dem Einfluss unterschiedlicher Klimabedingungen. Unterschiede in der Gesteinswiderständigkeit machen sich vor allem in Abtragungsbereichen bemerkbar. Deshalb sind in fast allen Mittelgebirgen gesteinsbedingte Strukturformen anzutreffen.
Unterschiede der Abtragungsresistenz der Gesteine machten sich spätestens unter Klimaten des Quartärs und des Tertiärs bemerkbar. So sind z.B. die Härtlingsrücken des Soonwaldes und des Taunus an den widerstandsfähigen Taunusquarzit gebunden.
Die morphologische Weiterentwicklung der Mittelgebirge im Jungtertiär und Quartär vollzog sich zum einen als Abtragung auf den flachgeneigten, talfernen Gebieten, zum anderen als Talentwicklung. Ursachen dieser Entwicklung sind die tektonischen Hebungsimpulse, die zur Tiefenerosion führen. Die Veränderungen der Abflussdynamik aufgrund der mehrfachen Klimawechsel zwischen Kalt- und Warmzeiten veränderten sowohl die Formung im Gerinnebett als auch an den Hängen. So sind in nahezu allen großen Tälern zumindest streckenweise Flussterrassen erhalten geblieben.
Die Rumpfschollengebirge haben ihre letzte tektonische Prägung während der variszischen Orogenes im Karbon vor 299 – 419 Millionen Jahren erfahren. Sie treten zum einen als Gebirge aus gefalteten, vorwiegend Sedimentgesteinen (Sand- und Siltsteine, Grauwacken und Tonschiefer) auf (Schiefergebirge). Außerdem sind Kalksteine und Dolomite verbreitet. Wo Kalke größere Mächtigkeiten annehmen treten Karstphänomene auf.
Das Rheinische Schiefergebirge wird durch den Rhein in zwei Teile getrennt und besteht aus den linksrheinischen Mittelgebirgen Ardennen, Eifel und Hunsrück sowie den rechtsrheinigen Mittelgebirgen des Bergischen Landes, Sauerland, Westerwald und Taunus. Schiefergebirge waren während des Mesozoikums und Tertiärs größtenteils noch nicht über das Meeresspiegelniveau angehoben. Diese tektonische Ausgangslage hat zusammen mit der intensiven tropischen Verwitterung, die bis ins Eozän gewirkt hat, zumindest in großen Teilgebieten charakteristische, flache Abtragungsreliefs entstehen lassen. Die Hochflächen, die vor allem in Wasserscheidelagen und fern der größeren Täler liegen, sind durch ein flachwelliges Relief mit geringen Höhenunterschieden gekennzeichnet. An den Rändern sind sie durch Taleinschnitte in einzelne Riedel aufgelöst. Durch die anschließende Hebung im Jungtertiär und vor allem im Quartär sind die Flachreliefs in ihre heutige Lage gehoben worden und Rumpfflächen entstanden.
Im Mittelrheinischen Becken sowie Limburger Becken finden sich aber auch in größerem Umfang Sedimente der jüngeren Erdgeschichte. Auch in der Eifel und im Westerwald sind vulkanische Gesteine aus dem Paläogen sowie Neogen verbreitet. In der Eifel dauerte der Vulkanismus bis in die Neuzeit und kann bis heute nicht als gänzlich erloschen gelten. Dabei treten vulkanische Festgesteine des Tertiärs, vor allem Basalte, als Härtlingskuppen in der Eifel hervor. Das Siebengebirge bildet eine abgetragene, vulkanologisch komplexere Vulkanruine. Im Westerwald trifft man auf zusammenhängende, größere Basaltdecken. Quartärer Vulkanismus mit Maaren, Aschenkegeln und Einbruchsdecken gehört zu den Besonderheiten der Eifel. Kristalliner Schiefer ist nur in begrenzten Bereichen, wie z.B. im Moselgebiet, aufgeschlossen. Daneben kommen in den Eifelkalkmulden und in der Nordeifel sowie im Lahn-Dill-Gebiet in größerem Umfang Massenkalke aus dem Mittel-Devon mit Karsterscheinungen vor. In der Umgebung des Westerwaldes befinden sich zudem die großen Ton-Lagerstätten des Kannenbäckerlandes. Nennenswerte Vorkommen von Kiesen und Sanden sind nur im Mittelrheintal erhalten.
