ca. 1160 – 1180 die Burg wird im romanischen Stil erbaut mit Wohnturm, Vorburg und Wassergräben. Aufsitzer sind die „Herren von Altendorf“. Dies ist ein „Ministerialen“-Geschlecht, das im Dienste des heimischen Adels (der Grafen von Berg, von Altena-Isenburg, von der Mark und der Essener Fürstäbtissin) tätig ist. Einige sind Ritter,  über drei Generationen  waren sie Drosten am Hofe der Fürst-Äbtissin. Viele Söhne finden sich auch in Kirchenämtern.
um 1380 die Burg gelangt durch Heirat an einen Sohn von Vittinghoff-Schell. Die Burg wird umgebaut im Stile der Gotik.
um 1540 unter Christopher von Vittinghoff-Schell wird die Burg erneut umgebaut, diesmal im Renaissance-Stil. Dabei wird die Vorburg vergrößert, höher gelegt und der halbrunde Treppenturm des Wohnturms durch einen achteckigen ersetzt.
um 1605 die Altendorfer Linie der Familie von Vittinghoff-Schell stirbt aus. Das gesamte Erbe mit den Jagd-, Weide-, Fischerei- und Marken-Rechten, Bergwerksbeteiligung, freie Benutzung der Dahlhauser Mühle, freie Überfahrt auf der Ruhr, das Patronats-Recht der Justinen-Vikarie in Niederwenigern sowie Kirchensitze und Begräbnisplätze dort, sowie den Abgabe-Pflichten vieler Bauern der Umgebung gelangt an eine Vielzahl entfernter Verwandter. Darunter erweisen sich zwei Brüder von Ketteler als besonders erfolgreich in dem Bestreben, diesen Besitz wieder in wenigen Händen zusammenzufassen. Trotzdem geraten sie in wirtschaftliche Schwierigkeiten und müssen Kredite aufnehmen.
1629 wegen der finanziellen Probleme kommt es zur Verpfändung der Burg an einen Capitain Jacob von Mangelmann. Spätere Versuche, das Pfand wieder einzulösen, scheitern trotz langer Prozesse.
1642 nach Mangelmanns Tod fällt das Erbe „Haus Altendorf“ an seine Kinder aus zwei Ehen: Die Tochter [aus 1. Ehe] hatte einen Mumm von Schwarzenstein geheiratet; sie konnte sich mit dem Stiefbruder nicht über das Erbe einigen. Ein Gericht entschied, dass der Tochter  2/3 und dem Sohn 1/3  am Hause Altendorf zustehe. Bei dieser Regelung blieb es unter allen Nachkommen bis zum Verkauf der Burg.
1666 nach dem Abbruch der Burg Blankenstein wird in der Burg Altendorf das Amtsgefängnis eingerichtet
1775 Teile der Burganlage werden als „Kötterei“ an einen Schichtmeister Geldmacher aus dem Waldeckschen verpachtet. Ab 1800 errichten die Pächter aus den Steinen der Burg ein Wohnhaus in der Vorburg.
1849/50 die Burganlage wird verkauft an einen Steiger, der sie 1850 weiter veräußert an die heimischen Bauern Mintrop und Kellermann. Von diesen kauft sie 1858 die katholische Schulgemeinde, die aus den Steinen der Burg in der Vorburg die „Burgschule“ errichtet.
1903/04 es finden erste Restaurierungs-Arbeiten statt, bei denen insbesondere Breschen, die in den Wänden des Burgturmes entstanden waren, geschlossen wurden.
1925 die aus dem Sauerland stammende Künstlerin Josefa Berens [später Berens-Totenohl] ist bei einem Besuch von der Ruine angetan und beantragt, im Wohnturm eine Künstlerwohnung einzurichten. Detail-Pläne entstehen, doch die Mühlen der Verwaltung mahlen der Künstlerin zu langsam; sie verzichtet.
1934 die Gemeinde Altendorf errichtet im östlichen Burggraben ein pyramiden-ähnliches Denkmal für die Gefallenen der Kriege von 1866, 1870/71 und 1914-1918. Ein Hakenkreuz, mehrere christliche Kreuze und die Worte „Glaube – Treue – Dienen, 1914 – 1918“  prägen das Aussehen. Nach dem 2. Weltkrieg wird das Hakenkreuz entfernt. Das Denkmal selbst wird im Zuge der Renovierung um 1960 als nicht denkmalwürdig eingestuft und entfernt.
1963 – 1970 nach einem planerischen Vorlauf seit 1954 wird in diesen Jahren die Renovierung der Burganlage durchgeführt. Die eingestürzten Mauern, die den Burgturm umgaben, werden wieder hochgezogen, des gleichen Mauern der Vorburg einschließlich der Ecktürme, vom Burgturm werden der starke Efeubewuchs entfernt und das Mauerwerk ausgebessert. Begleitet werden die Arbeiten von einer archäologischen Arbeitsgemeinschaft des Hattinger Jungen-Gymnasiums unter ihrem Lehrer, dem Kreisheimatpfleger Dr. Eversberg. Sie „entdecken“ den süd-östlichen Eckturm der Burg einschließlich der Fundamente des Torhauses wieder, das die Zugbrücke nach außen sicherte. Gleichzeitige Quellenstudien ergänzen das Wissen um die Anlage.
1969 in der Vorburg wird die Gaststätte „Burgfreund“  errichtet.
1972 an der nördlichen Außenmauer des ehem. Wirtschaftsgebäudes wird ein neues Mahnmal errichtet mit der Aufschrift: „Den Toten zum Gedächtnis – den Lebenden zur Mahnung“. Jährlich zum Volkstrauertag zieht eine Abordnung Burgaltendorfer Vereine zu diesem Denkmal und legt im Rahmen einer Feierstunde hier Kränze nieder.
1981 erstmals findet das Burgfest statt, ein Dorffest vieler Burgaltendorfer Vereine. Seither schmückt den Burgturm im Sommer eine Fahne mit dem Wappen der „Herren von Altendorf“ und zur Weihnachtszeit ein weithin sichtbarer beleuchteter Tannenbaum.
2000 das Gelände des Burgturms wird gesperrt. Wegen Erosion an Steinen und Mörtel drohen Steine herab zu fallen. Seit Ende 2001 finden Restaurierungsarbeiten unter Beteiligung des Heimat- und Burgvereins statt, die sich über mehrere Jahre hinziehen werden.