Είναι αφιερωμένο στην Παναγία και από το βουνό Κάκαβο ονομάσθηκε "Παναγία η Κακαβιώτισσα", ανήκει στην ενορία του χωριού Θάνος και βρίσκεται μεταξύ του Θάνους και της παραλίας του Ζεματά.
Σύμφωνα με την παράδοση, τον τόπο αυτό επέλεξαν Μοναχοί οι οποίοι ανήκαν στη Μονή της Μεγίστης Λαύρας του Αγίου Όρους, ήρθαν από τον Άγιο Ευστράτιο για να προστατευθούν από τις επιθέσεις των Τούρκων. Εδώ έκτισαν το εντυπωσιακό αυτό εκκλησάκι, εκτιμάται το 1300. Στην περιοχή φαίνονται, μέχρι σήμερα, χωράφια τα οποία καλλιεργούσαν καθώς επίσης και ένα πηγάδι.
Με το πέρασμα των χρόνων οι Μοναχοί έφυγαν από τη ζωή και ο τελευταίος αποφάσισε να πάει στο Άγιο Όρος. Πρίν αναχωρήσει βρήκε έναν Λημνιό βοσκό, από την οικογένεια Μουμτζή ο οποίος είχε μάντρα κοντά στο εκκλησάκι, και του εμπιστεύθηκε την εικόνα της Παναγίας, άφησε δε εντολή να λειτουργεί το εκκλησάκι στην εορτή της Υπεραγίας Θεοτόκου (15 Αυγούστου) και κάθε τρίτη ημέρα της Λαμπρής (Λαμπροτρίτη του Πάσχα). Κατόπιν, σύμφωνα με την παράδοση, έριξε το ράσο του επάνω στη θάλασσα, το οποίο έγινε βάρκα, και έφυγε στο Άγιο Όρος. Την εικόνα σήμερα έχουν οι απόγονοι της οικογενείας και την μεταφέρουν στο εκκλησάκι τις ημέρες των εορτών.
Έτσι το Σάββατο 11 Αυγούστου στις 7.30 το πρωί θα γίνει η καθιερωμένη καλοκαιρινή θεία λειτουργιά στην Παναγία την Κακαβιωτισσα για τους επισκέπτες του νησιού.