Veenhuizen, wie er niets te zoeken had, kwam vroeger Veenhuizen niet in. Naar Veenhuizen gaan was een straf, niet alleen voor hen die er op last van justitie belandden. Tot de jaren tachtig van de twintigste eeuw gold het dorp nog als ontoegankelijk gebied. Letterlijk: wie er niets te zoeken had, kwam er niet in. Veenhuizen was alleen ‘geopend’ voor wie er werd verpleegd of gedetineerd was en voor wie er woonde of werkte. Wie met pensioen ging of een baan buiten Veenhuizen vond, moest verhuizen.
Hollands Siberië: zo werd Veenhuizen in vroegere tijden ook wel genoemd. In 1823 werden de eerste gebouwen van het dorp door de Maatschappij van Weldadigheid uit de grond gestampt. De Maatschappij bouwde in totaal drie gestichten, op kazernes lijkende complexen in de vorm van een carré, voor arme gezinnen, wezen en landlopers. In Veenhuizen probeerden zij, al dan niet vrijwillig, een nieuw bestaan als boer op te bouwen. Alleen het Tweede Gesticht staat nog overeind. Daarin is nu het Gevangenismuseum gevestigd.
In 1859 nam de rijksoverheid de gestichten over. Wezen en vondelingen maakten plaats voor mensen die veroordeeld waren tot een gevangenisstraf. De gevangenen leefden zij aan zij met de ‘verpleegden’: landlopers en bedelaars. Het onderscheid was te zien aan de kleding. Uiteindelijk maakten alle gestichten plaats voor gevangenissen. Sinds 1970 leven er in Veenhuizen geen ‘verpleegden’ meer. Het dorp telt echter nog steeds drie strafinrichtingen, waarin in totaal ruim 1.000 gedetineerden vastzitten.
Om de inrichtingen heen werd een dorp gebouwd voor het personeel. De stichter van het koloniedorp, generaal Van den Bosch, had een heel heldere visie, er zijn arbeiders, hulpbehoevenden, ontaarden aan de ene kant, en directeuren en ambtenaren aan de andere kant. Dat zie je terug in de gebouwen. De ambtelijke hiërarchie werd weerspiegeld in de grandeur van de woningen. Op de gevels van de meeste huizen prijken nog steeds stichtelijke spreuken. ‘Werk en Bid’, ‘Arbeid is Zegen’, ‘Orde en Tucht’. Opdat zij die in Veenhuizen terecht kwamen, al dan niet vrijwillig, doordrongen raakten van het louterende werk dat hier werd verricht.
Veenhuizen was een wereld op zich die maar beter gemeden kon worden. Zeker nadat in het tweede gedeelte van de negentiende eeuw het Rijk het daar voor het zeggen kreeg en Veenhuizen geleidelijk aan transformeerde van een ‘heropvoedingsinstituut’ voor landlopers, bedelaars en wezen tot een verzameling van gevangenissen.
Als detentiedorp was Veenhuizen langdurig zelfvoorzienend. Met eigen landbouw en veeteelt bedrijven, werkplaatsen, fabriekjes en zelfs een elektriciteitscentrale. Het ministerie van Justitie was meer dan een eeuw lang in feite de enige werkgever. Ruim een kwart eeuw geleden begon justitie met het op grote schaal afstoten van panden die niets met de corebusiness te maken hadden.