Naselbina, v kateri so ljudje živeli vsaj od poznega neolitika dalje, je razdeljena na t.i. glavno mesto ali akropolo in spodnje mesto. Na skrajnem vzhodnem delu je zamejeno s kamnitim obrambnim nasipom. Na enak način je na skrajnem vzhodnem delu zaščitena akropola z obzidjem, ki je danes vidno kot kamnit nasip. Na ostalih delih je naselbino varovalo strmo pobočje. Na akropoli so živeli pomembni člani tedanje skupnosti, ki so opravljali tako posvetne kot tudi kultne dejavnosti. Spodnje mesto je služilo ostalim prebivalcem, ki so v hlevih in oborih imeli tudi živino. Številni naravni izviri znotraj naselbine in v okolici ter rodovitna zemlja so omogočili, da je bila naselbina skozi tisočletja samooskrbna. Kaštelir sodi med največja gradišča obalnega dela šavrinskega gričevja in je zagotovo predstavljal osrednje, t.i. glavno mesto širšega teritorija. Vizualno je Kaštelir povezan z manjšimi gradišči, ki so lahko služila tudi kot obrambne postojanke med morjem in notranjostjo.