In het tynsboek, een belastingkohier, van Loenen duikt in het jaar 1439 voor de eerste maal de naam 'Loe' op als het gaat om de koop van een tweetal stukken grond. Een van de rentmeesters in dienst van de hertog van Gelre had waarschijnlijk de bedoeling hier een versterkt huis te bouwen. Uit het document valt niet op te maken of deze koper inderdaad met de bouw van een huis is begonnen, dat kan ook gerealiseerd zijn door een van zijn opvolgers. In ieder geval is het wel de plek waar een kasteel ontstond dat de naam 'Loe' kreeg. De geschiedenis van dit kasteel is op zichzelf al heel interessant, maar vooral omdat het in 1684 toegevoegd werd aan de Oranjebezittingen. Stadhouder prins Willem III kocht het kasteel als uitvalsbasis voor zijn jachtpartijen over de uitgestrekte Veluwe. Het zou wel eens kunnen zijn dat het slot niet geheel beantwoordde aan zijn verwachtingen, want in datzelfde jaar besloot hij al tot de bouw van een nieuw en veel groter jachthuis, het latere paleis Het Loo. He