Οι επιτοίχιες επιγραφές με τη χρονολογία ανέγερσης των κτηρίων, που αποτελούν τις πλέον αξιόπιστες μαρτυρίες, φανερώνουν την έντονη ανοικοδόμηση του οικισμού στο δεύτερο μισό του 19 ου αι. περίοδο κατά την οποία θα πρέπει να γνώρισε ιδιαίτερη άνθιση. Ο παλιός οικιστικός πυρήνας του οικισμού, ακολουθώντας την φυσική ανάπτυξη που επέβαλε η μορφολογία του εδάφους, αναπτύχθηκε γύρω από την εκκλησία του Αγ. Δημητρίου (1857) και θα πρέπει να ολοκληρώθηκε το αργότερο μέχρι το 1920, ενώ στη συνέχεια ο οικισμός άρχισε να αναπτύσσεται νότια και δυτικά, ελάχιστα στην παραλιακή ζώνη, μέχρι να αποκτήσει τη σημερινή του μορφή και μέγεθος.
Οι ιδιοκτησίες είναι αρκετά μεγάλες, διαθέτουν τον απαραίτητο αύλειο χώρο για τις βοηθητικές εργασίες ή ανάγκες (στάβλος, αποθήκη, φούρνος κτλ.) των κατοίκων, οι οποίοι ασχολούνταν σχεδόν αποκλειστικά με τη γεωργία. Τα κτίρια συνήθως τοποθετούνται στην πρόσοψη του οικοπέδου και είναι προσανατολισμένα στο νότο ώστε το χαγιάτι, που αποτελούσε κύριο λειτουργικό χώρο, να έχει επί περισσότερο χρόνο ηλιασμό.
Η αρχιτεκτονική των σπιτιών, τα οποία στην πλειοψηφία τους είναι διώροφα, διαπνέεται από ένα συντηρητισμό ως προς τις μορφές, ο οποίος όμως αμβλύνεται από τον πλούτο και την ευρηματικότητα των κατασκευαστικών λεπτομερειών, οι οποίες συναντώνται, εκτός των κτιρίων κατοικίας και στις υπόλοιπες κατασκευές και κτίρια (εκκλησίες, βρύσες, μαντρότοιχοι κ.α). Γενικά διακρίνονται δύο βασικοί τύποι διώροφης κατοικίας· ο πλατυμέτωπος με ορθογωνική κάτοψη και ο τετράγωνος με τετράγωνη κάτοψη. Η διάρθρωση των χώρων και οι χρήσεις είναι ίδιες και στις δύο μορφές.
Το 1995, οι κάτοικοί της κοινότητας Αφύτου, ανθιστάμενοι στην λαίλαπα τσιμεντοποίησης του σύγχρονου χωριού, συνεπικουρώντας στις πρωτοβουλίες του τότε προέδρου της Βασίλη Παυλή, ανέδειξαν τον παραδοσιακό οικισμό, με αναστηλώσεις των λιθόχτιστων σπιτιών, πλακόστρωτα στους δρόμους, πεζοδρομήσεις, κτλ. Ξανάνοιξαν έτσι τα αρχαία νταμάρια του ντόπιου αφυτιώτικου πωρόλιθου και σήμερα.
