Aukštadvario miestelio pietvakariniame pakraštyje, Verknės kairiajame krante, būtų apmaudu trumpam nesustoti. Juk čia galite išvysti Aukštadvario piliakalnį su papilio gyvenviete, kurio šlaitai siekia 9–15 metrų aukštį. Svyrantys medžiai taps kelrodžiu į pietryčių pusėje esantį Pilaitės ežerą. Dėl to kartais šis piliakalnis vadinamas Pilaitės piliakalniu.
Aukštadvario vietoje žmonių gyventa jau prieš 4-5 tūkstančius metų. Apie tai byloja ežerų pakrantėse randami akmeniniai kirvukai bei įvairūs titnaginiai dirbiniai. Neatsiejamai Aukštadvario praeitis susijusi su Verknės upės kairiajame krante stūksančiu piliakalniu. Archeologiniai radiniai rodo, kad jame žmonės apsigyveno II-I amžiuje prieš Kristaus gimimą. Penkis ar net septynis šimtus metų žmonės gyveno piliakalnio aikštelėje. V amžiuje šalia piliakalnio ėmė kurtis sodybos. VI-VIII a. prie piliakalnio išaugo gana stambi gyvenvietė su gana viena nuo kitos tolokai išsidėsčiusiomis sodybomis, sudarančiomis padriką kaimą. Manoma, kad tuo metu Verknės upe ir Nemunu, į kurį įteka Verknė, pro piliakalnį ėjo vienas pagrindinių kelių. Šis kelias leido gyvenvietei sparčiai augti.
XI – XII a. piliakalnyje pastatyta tvirta medinė pilis, prie kurios šliejosi didelis, net 2 ha ploto tankiai apgyvendintas papilys. Spėjama, kad šiuo laikotarpiu jau buvo medinės pilies savininkas, pilyje laikęs ir globojęs įvairių amatų meistrus.
1381 m. kryžiuočių kronikininkas Vygandas Marburgietis mini vietovę Nawenpill. Dalis istorikų linkę manyti, kad taip vokiečiai vadino Aukštadvarį, t.y. Navos pilį. Ši versija istorinėje literatūroje gyvuoja.
Tikslesni duomenys apie Aukštadvarį žinomi iš XV a. Tuo metu Aukštadvario dvaras priklausė Lietuvos didiesiems kunigaikščiams. Manoma, kad nuo dvaro, įsikūrusio aukštame piliakalnyje, kilęs ir gyvenvietės pavadinimas. 1440–1498 metus apimančioje Lietuvos Metrikos knygoje randame, kad ,,valdovas dovanoja Jonui iš Aukštadvario du žmones“. Tai gali būti pats seniausias Aukštadvario paminėjimas rašytiniuose šaltiniuose. Deja, šiame įraše nenurodomas nei valdovas, nei įrašo data. Artimiausias įrašas datuotas 1446 m. Tai – Kazimiero Jogailaičio Valdymo pradžia. Negalime tvirtinti, kad ir užrašas apie Aukštadvarį yra tų pačių metų. Jis gali būti ir vėlesnis.
Kitame šaltinyje aptinkame dar vieną, daug tikslesnį Aukštadvario paminėjimą. 1452 m. kovo 7 d. datuotame įraše kalbama apie nedirbamą Pergailo žemę, kuri perduodama Senkui. Jeigu neatsirastų ankstesnių tikslių dvaro ar gyvenvietės paminėjimų, tai 1452 m. kovo 7 d. galima būtų laikyti Aukštadvario gimimo diena.
XV a. antroje pusėje Aukštadvaris priklausė kunigaikščiui Andriui Dorogobuiskiui, vėliau perduotas Goštautui.
XVI a. pradžia Lietuvos Didžiajai Kunigaikštystei klostėsi dramatiškai. 1507 m. prasidėjo karas su Maskva. Jos valdovas Vasilijus III apgulė keletą Lietuvos Didžiosios Kunigaikštystės miestų, artinosi prie Smolensko. Maskvos kunigaikštis skelbėsi einąs vaduoti skriaudžiamų pravoslavų. Tais pačiais metais Aukštadvario vietininku buvo Bogdanas Sapiega. Jis kartu su Skirsnemunės vietininku Petru Aleknavičiumi vyko pasiuntiniu į Maskvą ir buvo ten sulaikytas, nors turėjo Vasilijaus III apsaugos raštus. LDK valdovas Žygimantas Senasis rūpinosi pasiuntinių likimu ir išvadavo juos iš Maskvos nelaisvės.
1511 m. gegužės 29 d. Žygimantas Senasis ponui Jokūbui Kuncevičiui už ištikimą tarnybą suteikė privilegiją ir žmonių įvairiuose pavietuose, tarp jų ir Aukštadvaryje. Šis dokumentas įdomus tuo, kad jame išvardijami žmonės, XVI a. pradžioje gyvenę Aukštadvaryje ir jo apylinkėse. J. Kuncevičiui buvo dovanoti tarnybiniai žmonės.
Kadangi miestelis ėmė kurtis aplink kunigaikščių dvarą, kuris buvo įsikūręs ant piliakalnio (aukštas dvaras), todėl jis imtas vadinti kaip Aukštadvarys (arba Aukštdvarys). XVIII a. lotyniškuose raštuose Aukštadvaris vadintas Alta Aula.
Bestovint ant piliakalnio verta suklusti. Senovėje čia stovėjusios pilies valdovo duktė kartą sumanė pasivažinėti. Iš pilies ji išvyko puošnia ir prabangia karieta, traukiama net ketverto arklių. Karietoje buvo skrynia kupina pinigų ir mažytis šunelis. Besileidžiant nuo pilies kalno, arkliai pasibaidė ir karalaitę su karieta nunešė tiesiai į netoli pilies esantį Pilaitės ežerą, kur visas ekipažas nuskendo. Nors tėvai dukters po to ilgai ieškojo, tačiau viskas buvo veltui. Praėjus kuriam laikui, vietos gyventojai, ypač prieš patekant saulei, ežere kartais matydavo plaukiojančią gražią skrynią, ant kurios tupėdavęs mažas šunelis. Po šio viražo ežeras vėl ramiai tyvuliuodavo. Tikėti ar netikėti šia legenda – tai jau kiekvieno pasirinkimas.
1957–1960 m., tyrinėjant piliakalnį, rasti senos gyvenvietės likučiai, juvelyro dirbtuvė, papuošalai, metalo lydymo krosnelių liekanų, strėlių, ietigalių.
Žmonės čia įsikūrė II – I a. prieš Kr. Ankstyviausioje piliakalnio įrengimo fazėje aikštelė buvo maždaug trečdaliu mažesnė, apjuosta 2 m pločio medine gynybine siena, kurios vidinėje pusėje glaudėsi keturkampiai stulpinės konstrukcijos pastatai. Jų vietoje rasta akmeninių kirvukų, kaulinių ylų, adiklių, brūkšniuotos keramikos, gyvulių kaulų. Pagal juos piliakalnio apgyvendinimas datuojamas II-I a. pr. Kr.
Vėlesniame etape (pirmieji amžiai po Kr.) aikštelės pakraščiuose stovėjo ilgas stulpinės konstrukcijos pastatas, kurį sudarė kelios 3 m ilgio patalpos. Jose rasta žalvarinių papuošalų, molinių svorelių, brūkšniuotos, grublėtos ir gludintos keramikos, suanglėjusių grūdų. Aikštelėje buvo didelis kiemas. Apie IV-V a. aikštelės pakraščiuose supiltas pylimas, ant kurio pastatyta 2 m pločio medinė gynybinė siena. Šie įtvirtinimai buvo užimti juos apšaudžius iš lankų (rasti 35 geležiniai strėlių antgaliai).
XIV a. piliakalnis buvo smarkiai pertvarkytas: į šlaitus, supilant žemių sluoksnius, išplėsta aikštelė, jos pakraščiuose supiltas 15 m pločio pylimas, papėdėje iškastas 6 m pločio, 2,5 m gylio griovys. Ant pylimo stovėjo 4 m pločio medinė gynybinė siena, jo vidinėje pusėje – iki 4×4 m dydžio rentiniai pastatai. Dalis šių pastatų buvo gyvenami. Jų vietose rasta geležinių arbaletinių strėlių antgalių, peilių, ylų, kabliukų, skiltuvas, raktas, žalvarinė segė, įvairių kitokių dirbinių fragmentų, žiestos keramikos, suanglėjusių javų grūdų.
Šiuo laikotarpiu ant piliakalnio stovėjo Navinpilio pilis, kurią 1381 m. vasario 14 d. panaudodami patrankas, puolė kryžiuočiai. Pilis pasidavė ir buvo sudeginta, tačiau greitai lietuvių atstatyta, nes 1382 m. sausio mėnesį vėl minima istoriniuose šaltiniuose (paminėta ir 1384 m.). Galų gale, jai netekus gynybinės reikšmės, pilis sudeginta. XVI-XVII a. piliakalnyje stovėjo medinis Didžiojo kunigaikščio dvaras, tai patvirtina to laikotarpio statinių liekanos ir radiniai. Nors šių statinių ir nebėra, tačiau atsistojus ant piliakalnio iki šiol galima pajusti praėjusių amžių didybę.