De Lathmer was in vroeger eeuwen een kasteel van betekenis. In 1273 wordt ene Albertus de Latmere al in geschriften genoemd. Uit 1433 stamt de eerste vermelding van een bewoner, Albert van Zuderaes os Soerhuis, een leenman van Evert van Wilp, woonachtig op slot Wilp.
Er bestaat een tekening van Jan de Beyer uit 1744, waarop het kasteel met meerdere torens is te zien. De Lathmer staat hier op een eiland met een brug.
Het kasteel werd door verschillende adellijke geslachten bewoond, onder andere door ambtsjonkers uit Voorst en Apeldoorn. Willem Herman van Broeckhuysen, heer tot de Lathmer en burgemeester van Harderwijk heeft het kasteel rond 1740 verfraaid en een sterrenbos laten aanleggen. In 1790 werd het kasteel gekocht door de Amsterdamse koopman Jan Ananias Willink, die het landgoed vergrootte en vermoedelijk ook een nieuw huis bouwde. In 1849 kocht Marius Crommelin het landgoed en bouwde aan het eind van de 19e eeuw een nieuw landhuis in Italiaanse villastijl. Zijn zoon Claude verhuurde het huis toen er in 1911 een grote brand uitbrak waarbij alleen nog wat muurdelen overeind bleven. Bij de brand gingen ook allerlei kostbaarheden van de familie Crommelin verloren. Erfgenaam Claude Crommelin liet al in 1911 een nieuwe villa ontwerpen door de Haagse architecten Van Nieukerken. Dit nog bestaande landhuis is in neorenaissancestijl gebouwd. Het heeft zeven trapgevels en een vierkante toren. Ook de tuin is opnieuw aangelegd en werd ontworpen door de bekende architect Leonard A. Springer in Engelse landschapstijl met veel bijzondere bomen en mooie zichtlijnen.
Bij het huis is 1919 nog een poortgebouw met koetshuis gebouwd. Het gebouw heeft een L-vormige plattegrond. In de lange vleugel bevindt zich de poort. Het interieur is grotendeels in oorspronkelijke staat bewaard gebleven. Het gebouw heeft cultuurhistorische waarde als onderdeel van een complex in neo-renaissancestijl, en eveneens naar ontwerp van Van Nieukerk.
In 1950 verhuurde Claude Crommelin het kasteel aan de Daniël de Brouwerstichting. De Broeders Penitenten verzorgden daar verstandelijk beperkte jonge mensen. Het kasteel werd een kantoor en er kwamen diverse paviljoenen voor de bewoners.
In 1987 werd de Lathmer overgedragen aan de “Stichting Voorzieningen voor Geestelijk Gehandicapten de Lathmer”. Dit werd in 2003 de Stichting Zozijn.
Het park met kinderboerderij is vrij toegankelijk.
Zowel het kasteel als het poortgebouw met koetshuis zijn rijksmonumenten.
Lathmerweg 5
7384 AD Wilp
Nederland