Den vackra slottsbyggnaden som är drygt 300 år gammal, har förändrats mycket lite fram till våra dagar. De nuvarande två flygelbyggnaderna samt den stora ladugården tillkom i början av 1900-talet. Österhaninge kommun köpte fastigheten 1969, och idag ägs och förvaltas fastigheten av Tornberget.
Under årens lopp har slottet haft många skiftande ägare. Den kanske mest kände ägaren är familjen Bremer. Brukspatron Carl Fredrik Bremer, författarinnan Fredrika Bremers far, köpte Årsta 1805 och Fredrika Bremer tillbringade en stor del av sin uppväxt på Årsta.
Fortfarande finns en del av slottet bevarat som en liten museidel där inredningen står kvar som den var på Fredrika Bremers tid.