Refsholm uppfördes i början på 1370-talet på en holme i sjön Krön av väpnaren, sedemera riddaren, Harald Karlsson Stubbe. Harald var god vän med kungen Albrekt av Mecklenburg och satt med i riksrådet.
Borgen ligger på en hög udde i sjön Krön. På toppen kan man se grunderna till borgherrens bostad med både sal och torn. Strax intill har det funnits andra byggnader för tjänstefolk, hantverkare och soldater. Allt har varit byggt i trä. Härifrån kontrollerade herr Harald sina domäner.
Borgen hamnade av allt att döma mitt i striderna mellan Albrekt och drottning Margareta. Sannolikt brändes borgen ned av Margaretas trupper 1389. Vid arkeologiska undersökningar har påträffats armborstpilar och delar till ringbrynjor. I vattnet runtom ön finns ett stort antal pålar som har hindrat båtar från att lägga till vid ön. Några av pålarna är daterade till 1380-tal.
Borgens namn, Refsholm, glömdes bort och den har senare i stället kallats Krönsborg.
Ivars udde
På fastlandet mitt för borgen Refsholm finns ytterligare en borganläggning med vallar och vallgravar. Platsen kallas Ivars udde. Eventuellt kan det röra sig om en anläggning som byggts vid belägring av Refsholms borg.