Předchůdcem dnešního zámku je původní tvrz ze 14. století. Tvrz, chráněnou vodními příkopy, nechal pravděpodobně vystavět v roce 1393 Štěpán ze Šternberka. Po vypálení a zničení vilémovského kláštera husity v roce 1421 přešlo panství Světlé nad Sázavou do rukou krále a o 8 let později jej zakoupil Mikuláš Trčka z Lípy. Jeho následovník, Burian Trčka z Lípy, si v roce 1561 zvolil za své sídlo Světlou nad Sázavou, když v tomto roce odprodal lipnický hrad. V roce 1567 započala rozsáhlá přestavba tvrze a přístavba patrové budovy ve stylu loveckého zámečku.
Dalším majitelem zdejšího panství se stal Jan Bartoloměj z Vernieru, který zde v letech 1668 – 1672 přistavěl váchodní křídlo zámku. Dostavbu tohoto objektu musel z důvodu nedostatku financí dokončit až František Antonán Černín v roce 1737. V roce 1748 byl majitelem Světlé hrabě Filip Kolovrat Krakovský a jeho syn Leopold se pustil do rozsáhlé přestavby a modernizace dolního i horního zámku.
Rok 1809 znamenal pro zámek určitou proměnu ve vojenský lazaret, který byl v roce 1813 rozšířen z důvodu epidemie tyfu, která tu usmrtila mnoho vojáků i civilních obyvatel města. Lidé byli postupně pohřbíváni na pastvišti u Dolní Březinky, kam byl později umístěn žulový obelisk.
V roce 1817 zakoupil zdejší panství i se zámkem František Josef hrabě Zichy z Vazsonykeö, který o 4 roky později nechal zbudovat západní křídlo zámku v empírovém stylu, a tím bylo uzavřeno obdélníkové nádvoří. První patro západního křídla bylo bohatě zdobené štukem a Rytířský sál se mohl pyšnit pozlaceným štukovým stropem a bohatou erbovní výzdobou.
Následující majitel zámku, hrabě František Josef ze Salm-Reifferscheidtu uskutečnil velmi náročnou a rozsáhlou přestavbu celého zámeckého komplexu. Stavba byla prováděna pod dohledem vídeňského architekta Svatoše, který zásadně dodržoval renovaci jednotlivých částí objektu ve stavebním slohu, ve kterém byly původně vytvořeny. V novorenesančním slohu tu byla přistavěna věžička a balkon nad vjezdem do nádvoří a arkády v patře západního a jižního křídla byly uzavřeny okny. Na této rozsáhlé stavbě pracovalo 500 řemeslníků a nádeníků.
V průběhu druhé světové války tu sídlila posádka německého Wehrmachtu a od června 1945 do konce roku 1946 pak československá vojenská posádka – oddíl 15. dělostřeleckého pluku.
Dnes je zámek přístupný veřejnosti, v roce 2013 změnil majitele a jsou tu pro návštěvníky připraveny dva prohlídkové okruhy. Prohlídky probíhají s průvodcem a začínají vždy v celou hodinu. Z nádvoří zámku je možné vstoupit do zimní zahrady (oranžérie), která je součástí severního zámeckého křídla. Je zde umělá jeskyně z pískovce a malý vodopád s jezírkem 4 x 2.5 metru.