Vid Lyckebyån strax intill Vissefjärda kyrka har funnits en stormanngård kallad Vesa borg. Denna gård hörde, liksom Rostocks holme, till de gårdar som biskop Tomas i Växjö anla vid mitten av 1300-talet för att kontrollera handeln mellan Växjö och Blekingekusten. Muntliga berättelser talar om att det bodde en tysk fogde här. Det sägs också att borgen stormades och brändes ned. Detta kan möjligtvis ha skett i början av 1400-talet.