Στο νότιο τμήμα του νησιού και σχετικά κοντά στην παραλία της Παχιάς Άμμου βρίσκεται το εκκλησάκι τις Παναγίας της Κρημνιώτησσας. Όπως φαίνεται και από το όνομα ο κρημνός (γκρεμός) στον οποίο είναι χρισμένος ο μικρός ναός αποτελεί ένα από τα κύρια χαρακτηριστικά της περιοχής.
Η προφορική παράδοση αναφέρει ότι η εικόνα της Παναγίας, που σήμερα φιλοξενείται στο ξωκκλήσι, προέρχεται από τα παράλια της Μικράς Ασίας και ανάγεται στην περίοδο της εικονομαχίας. Οι εικονολάτρες χριστιανοί της περιοχής την πέταξαν στη θάλασσα με σκοπό να σωθεί από το μένος και τις λεηλασίες των εικονομάχων. Πολλά χρόνια αργότερα γύρω στο 1700, όταν ένα πλοίο κινδύνευε να βυθιστεί στην ταραγμένη θάλασσα του Αιγαίου ο καπετάνιος διέκρινε την εικόνα ανάμεσα στα κύματα. Τότε διέταξε να την ανεβάσουν στο πλοίο και αμέσως η θάλασσα ηρέμησε.
Το επόμενο βράδυ η Παναγία παρουσιάστηκε στον ύπνο του καπετάνιου και ζήτησε να μεταφερθεί στο νησί της Σαμοθράκης. Ο καπετάνιος χωρίς δεύτερη σκέψη κατέπλευσε στο νησί και σε συνεργασία με τον ιερέα την τοποθέτησαν στην κεντρική εκκλησία του νησιού. Όμως κάθε βράδυ η εικόνα έφευγε και οι κάτοικοι την εύρισκαν σε έναν ψηλό βράχο στο νότιο τμήμα του νησιού. Αυτό έδειχνε την επιθυμία της να παραμείνει εκεί, έτσι οι κάτοικοι έχτισαν στο βράχο το ξωκκλήσι της Παναγίας της Κρημνιώτησσας, ενα απόκρυμνο και μοναδικό μερος με θέα ολόκληρο το Αιγαίο.
