Το φρούριον (...) ήτο γιγαντιαίος βράχος, φυτρωμένος εκεί παρά το πέλαγος, προεκβολή της γης προς τον πόντον, ως να έδειχνεν η ξηρά τον γρόνθον εις την θάλασσαν και την προεκάλει, φοβερός, μόνοκόμματος γρανίτης, αλίκτυπος, όπου γλαύκες και γλάροι ήριζον περί κατοχής, διαφιλονικούντες πού αρχίζει η κυριότης το ενός και πού σταματά η δικαιοδοσία του άλλου ... (Α. Παπαδιαμάντης "Στο Χριστό στο Κάστρο").
Η ταραχώδης ιστορία του Κάστρου, ξεκινά γύρω στα μέσα του 14ου αιώνα, όπου χτίστηκε προκειμένου να προστατεύει τους κατοίκους της Χώρας από τις επιδρομές των πειρατών. Με την κατάληψη της Κωνσταντινούπολης από τους Οθωμανούς το 1453, η Σκιάθος παραδόθηκε στους Ενετούς και ακολούθησε η τουρκική κατοχή που διήρκεσε από το 1475 έως το 1486, για να επιστρέψει στους Ενετούς και να πολιορκηθεί το 1538 από το διαβόητο πειρατή Μπαρμπαρόσα. Οι Σκιαθίτες, απογοητευμένοι από τη σκληρή διοίκηση των Ενετών, σκότωσαν το διοικητή τους και παρέδωσαν το νησί στον Μπαρμπαρόσα, ο οποίος μη τηρώντας τα συμφωνηθέντα πούλησε ως σκλάβους τους 3.500 κατοίκους που αιχμαλώτισε. Εκατόν είκοσι χρόνια αργότερα οι Ενετοί επανακατέλαβαν το Κάστρο για μικρό χρονικό διάστημα, ενώ το 1771 υπέστη μεγάλη πειρατική επιδρομή από το Γιώργη Τσόγκανο. Τα τείχη του κάστρου που υπεράσπιζαν την πόλη από την πλευρά της ξηράς ήταν ψηλά και ισχυρά με πολλές πολεμίστρες και αργότερα τα ενίσχυσαν με κανόνια. Συνδεόταν με την ενδοχώρα μέσω μίας κινητής ξύλινης γέφυρας, και όταν οι εισβολείς πλησίαζαν πολύ τα τείχη, την τραβούσαν και έκλειναν την είσοδο, πάνω από την οποία τοποθετούσαν την “ζεματίστρα”, δηλαδή ένα καζάνι με καυτό νερό ή λάδι και ζεματούσαν τους εισβολείς όταν πήγαιναν να περάσουν. Από τότε που εγκαταλείφθηκε, το 1830, αφέθηκε στην τύχη του, με αποτέλεσμα σήμερα να έχουν διασωθεί μόνο τμήματα του. Σίγουρα αποτελεί το σημαντικότερο αξιοθέατο της Σκιάθου, αφού συνδυάζει την άγρια ομορφιά του τοπίου με τις σημαντικότερες ιστορικές στιγμές του νησιού.
