Adelsslægten Seefelds tid
Visborggaard nævnes første gang i 1300-tallet, hvor gården tilhørte slægten Munk. Gennem ægteskab overgik den i begyndelsen af 1500-tallet til Jens Thygesen Seefeld, der tilhørte den jyske lavadel. Hans søn, Enevold Seefeld, arvede gården omkring 1538 og lagde grunden til familiens magt og velstand. Familien Seefeld fik stor indflydelse ved hoffet under Christian III og senere under Frederik II, og især Jakob Seefeld, tredje generation på gården, markerede sig som en central rigsrådsmand.
Jakob Seefeld vendte hjem til Visborggaard efter Syvårskrigen og gjorde den til sit hovedsæde. Han sikrede i 1571 gården birkeret og opførte kort efter et nyt renæssanceslot på ruinerne af middelalderborgen, der var brændt under Grevens Fejde. Under hans ledelse blev anlægget et af Nordjyllands mest imponerende herresæder. Det var også i denne tid, at den geometriske renæssancehave med sine klippede lindealleer og udsigt over voldgraven blev anlagt – et symbol på orden, magt og rigdom.