Το Δροσερό υπήρχε ήδη από τις αρχές του 19ου αιώνα με το όνομα "Ασάρ Μπέη", που σημαίνει "Η κρεμάλα του Μπέη".

Μετά και την κατοχή από τους Γερμανούς, ο εκσυγχρονισμός της Καρυώτισσας ήταν συνεχής και με 1798 κατοίκους το 1961 αποτέλεσε το διοικητικό κέντρο της περιοχής, με Αστυνομικό Σταθμό, Ταχυδρομείο και Αγροτικό Ιατρείο.

Αποτέλεσε κοινότητα με τα χωριά Δάφνη και Άγιος Γεώργιος, μέχρι το 1967, οπότε και έγινε ανεξάρτητη κοινότητα.

Ο οικισμός των Γαλατάδων είναι ένας από τους παλαιότερους της περιοχής, όπως επιβεβαιώνει η παλαιά εκκλησία του Αγίου Αθανασίου, η οποία υπολογίζεται ότι χτίστηκε πριν το 1806, χρονολογία που αναγράφεται στην εικόνα του Ευαγγελισμού της Θεοτόκου.

Οι Τούρκοι το αποκαλούσαν "Ντορτ Αρμούτ", δηλαδή Τέσσερις Αχλαδιές, πιθανώς λόγω της ύπαρξης τεσσάρων πανύψηλων δέντρων που υπήρχαν στο χωριό.

Η ανταλλαγή των πληθυσμών Ελλάδας-Τουρκίας το 1924, οδήγησε στο Παλαίφυτο και τους κατοίκους του Πετροχωρίου της περιοχής της Τσατάλτζα της Ανατολικής Θράκης.

Το Γυψοχώρι, όπως μαρτυράται και από την εκκλησία του Αγίου Αθανασίου (1851), είναι παλαιός οικισμός.