Μέχρι το 1923, το Κρωμνικό κατοικείτο από Μουσουλμάνους και ονομάζονταν Σαρνίτς. Με τις ανταλλαγές πληθυσμού κατοικήθηκε από Πόντιους πρόσφυγες της Σαμψούντας και πήρε το σημερινό όνομα. Η μόνη κανονική πρόσβαση στο χωριό γίνονταν από το σταθμό του τρένου όμως οι κάτοικοι χρειάζονταν τουλάχιστον δύο ώρες περπάτημα για να διασχίσουν τις απότομες πλαγιές. Εξαιτίας μάλιστα της μεγάλης κλίσης, τα παλιά κτίρια είναι κτισμένα σε βαθμίδες και από τις δύο πλευρές του δρόμου. Η Σταυρούπολη προς την αντίθετη κατεύθυνση, απείχε άλλες τόσες ώρες.

Ο κλήρος που δόθηκε στους νέους κατοίκους ήταν λιγότερος από ένα στρέμμα και κατάλληλος μόνο για καλλιέργεια καπνού. Υπήρχαν βέβαια βοσκότοποι κατάλληλοι για την εκτροφή κυρίως αιγοπροβάτων. Χωρίς ηλεκτρικό ρεύμα και κεντρική παροχή νερού. Οι ανάγκες για νερό καλύπτονταν από τις δύο πηγές, το «Πλαν πεγάδ» που σημαίνει «το πέρα πηγάδι» και το «τι σιλικί το πεγάδ», δηλαδή το πηγάδι με τις βδέλες. Με αυτά τα πενιχρά μέσα οι κάτοικοι καλούνταν να παλέψουν σκληρά για να επιβιώσουν, να στήσουν το καινούργιο τους σπιτικό, να προκόψουν.

Προς το τέλος της δεκαετίας του ’50 άρχισε η εσωτερική και εξωτερική μετανάστευση των κατοίκων. Οι περισσότερες οικογένειες εγκαταστάθηκαν στους Τοξότες και Γαλάνη, λιγότερες στην πόλη της Ξάνθης, αρκετές στη Θεσσαλονίκη και πολλοί πήραν το δρόμο της μετανάστευσης στη Γερμανία.

Έτσι σύντομα, το χωριό άρχισε να εγκαταλείπεται. Το 1965 έφυγαν και οι τελευταίοι κάτοικοι, το σχολείο έκλεισε και το Κρωμνικό ερημώθηκε. Οι φήμες για κρυμμένους θησαυρούς είχε ως αποτέλεσμα να καταστραφούν τα εγκαταλειμμένα σπίτια ακόμη γρηγορότερα. Μόνο κατά τη θερινή περίοδο μπορεί να συναντήσει κάποιος περαστικούς βοσκούς.

Δίπλα από το Κρωμνικό υπάρχουν ακόμα 2-3 εγκαταλελειμμένα χωριά. Τα Άνω και Κάτω Λιβερά και τα Ίμερα. Μέχρι σήμερα ο δρόμος για Κρωμνικό - Λιβερά είναι κακοτράχαλος. Η θέα όμως στους μαιανδρισμούς του ποταμού Νέστου αλλά και στον κάμπο της Ξάνθης, η οπτική επαφή με μία οικογένεια σπάνιων θαλασσαετών που κρύβεται στα απόκρημνα βράχια, αλλά και ένα υπέροχο κοπάδι άγριων αλόγων που τρέχει ελεύθερο κάνει το Κρωμνικό έναν πολύ επιθυμητό προορισμό.

Σήμερα οι απόγονοι των παλιών κατοίκων μαζεύονται μια φορά το χρόνο για το πανηγύρι του Ναού του Αγίου Παντελεήμονα, την εκκλησία του χωριού.

Το Δημοτικό Σχολείο στέκει ακόμα όρθιο και χάσκει χωρίς δάπεδα και οροφή και περιμένει τη σωτηρία του από την ολοκληρωτική καταστροφή. Πρέπει να επισκευασθεί και να χρησιμοποιηθεί ως ξενώνας για όσους θέλουν να βρουν κατάλυμα εκεί.