Glemski grad je bil nekoč del beneškega obrambnega kompleksa, ki je varoval prehod čez Dragonjo pred vpadi Turkov. Na oblikovanje istrskih vasi je v veliki meri vplivala ravno njihova obrambna vloga. Slednja je v Istri botrovala razvoju številnih vojaških postojank z visokimi opazovalnimi stolpi, imenovanimi kašteli. Eden izmed teh je bil tudi glemski obrambni stolp. Trinajst metrov visok stolp ima poleg kleti štiri etaže. Ob veznem in odprtem stopnišču se nizajo bivalni prostori: vhodna galerija, spalni in delovni prostor do osrednjega bivalnega prostora na vrhu stolpa. Svetloba v pramenih pada skozi strelne oziroma opazovalne line in odprte prostore v etažah. Sodobna arhitektura sobiva s historičnim. Pa še utrinek iz krajepisa koprskega škofa Pavla Naldinija (1700): »V vasi Glem, kjer že od davnine stoji visok stolp, so staro cerkev pred kratkim obnovili, saj je bila premajhna za mnogoštevilno prebivalstvo, ki sem prihaja častit veliko Devico Marijo, zavetnico cerkve, po kateri ima ta tudi ime.«