Γράφει ο Σπ. Καμπιώτης
πως ήδη έχουμε αναφερθεί ξανά στο πρόσφατο παρελθόν, σε άρθρο μας στις 20/4/21 με τίτλο «ΜΕ ΤΑ ΔΙΚΑ ΤΟΥΣ ΔΕΔΟΜΕΝΑ. ΜΙΑ ΚΡΙΤΙΚΗ ΕΠΙΣΚΟΠΙΣΗ», η Εγκύκλιος του Υπουργείου Υγείας που κυκλοφόρησε στις 22/3/21 για την ΕΠΙΒΟΛΗ της ΥΠΟΧΡΕΩΤΙΚΗΣ ΧΡΗΣΗΣ ΜΑΣΚΑΣ –επιβολή που έχει εφαρμοστεί πολύ πριν την εγκύκλιο– με θέμα «Συστάσεις αναφορικά με την χρήση της μάσκας στο πλαίσιο της πανδημίας C-19» πάσχει από διαστρεβλώσεις, ανακρίβειες, και παραπλανήσεις.Μεταξύ των επιστημονικών άρθρων που επικαλείται η εγκύκλιος για να αιτιολογήσει την απόφαση του υπουργείου περί της υποχρεωτικότητας της μάσκας, είναι και το άρθρο εκείνο των Howard, J., Huang, A., Li, Z., Tufekci, Z., et all (2021) με τίτλο «An evidence review of face masks against Cov. -19» στο PNAS 118, το οποίο άρθρο η εγκύκλιος χαρακτηρίζει ως μετα-ανάλυση, για να προσδώσει επιστημονική βαρύτητα. Όμως στην επιστήμη άλλο είναι η μετα-ανάλυση (meta-analysis) και άλλο η ανασκόπηση (review) της βιβλιογραφίας.
Έτσι λοιπόν επιβάλλεται να τονίσουμε για μία ακόμη φορά πως το άρθρο που επικαλείται η εγκύκλιος δεν είναι μετα-ανάλυση, αλλά πρόκειται για μία αφηγηματική ανασκόπηση της βιβλιογραφίας, η οποία βιβλιογραφία είναι μεν χρήσιμη με τα δεδομένα που παρέχει, όμως σε καμία περίπτωση δεν υποστηρίζει την υποχρεωτικότητα της μάσκας, ούτε δίνει και εκείνα τα απαραίτητα επιστημονικά στοιχεία και συμπεράσματα για την αναγκαιότητα εφαρμογής της σε όλο τον πληθυσμό.
Για να γίνουμε όμως περισσότερο σαφείς και να κατανοήσει ο κόσμος –και κυρίως εκείνος που δεν γνωρίζει από ερευνητικές διαδικασίες– περί τίνος ακριβώς μιλάμε, θα προβούμε σε μια όσο μπορούμε σύντομη και περιεκτική περιγραφή του τί σημαίνει μετα-ανάλυση και τί ανασκόπηση της βιβλιογραφίας.
Η ανασκόπηση της βιβλιογραφίας λοιπόν αποτελεί ένα από τα σημαντικότερα μέρη μιας ερευνητικής εργασίας. Ο τύπος αυτός της έρευνας είναι γνωστός και ως βιβλιογραφική έρευνα γύρω από τα ερωτήματα που απασχολεί ένα ερευνητή. Ο ερευνητής αφού συλλέξει «όλα» εκείνα τα άρθρα που θα τον βοηθήσουν ώστε να στηρίξει το ερευνητικό του ερώτημα –και που αυτό συνοπτικά περιγράφεται και στο τίτλο της μελέτης του–, προχωράει στην ερευνητική του εργασία κάτω από αυστηρότατες διαδικασίες που ισχύουν διεθνώς στην επιστημονική κοινότητα.
Όσο αφορά τώρα την ανάλυση της επιστημονικής βιβλιογραφίας (Καμπίτσης & Χαραχούσου 1999) που έχει να κάνει με το θέμα που καταπιάνεται ο ερευνητής, αυτή αποσκοπεί κυρίως στην εξαγωγή έγκυρων συμπερασμάτων, καθώς και στην αξιολόγηση των διατυπωμένων ερευνητικών υποθέσεων. Κατά την ανάλυση της βιβλιογραφίας στην έρευνα, υπάρχουν ορισμένα προβλήματα που ζητούν λύση (Glass 1976· Glass, McGraw & Smith, 1981). Τα προβλήματα αυτά παρουσιάζονται όταν ο ερευνητής δεν έχει στη διάθεσή του αρκετές από τις πληροφορίες που του είναι απαραίτητες ώστε να προβεί σε μία αντικειμενική αξιολόγηση της –όποιας– δημοσιευμένης εργασίας: π.χ. το μέγεθος (Ν) του δείγματος ήταν επαρκές; Ποιες ήταν οι πηγές; Αυτές οι πηγές ήταν υψηλής ποιότητας και εγκυρότητας; ποια στατιστικά μοντέλα χρησιμοποίησε o ερευνητής για να προβεί σε στατιστική ανάλυση; κ.ο.κ.
Μερικά από τα σημαντικά ερωτήματα (Thomas & Nelson, 1990) που προκύπτουν κατά την ανασκόπηση της βιβλιογραφίας είναι τα εξής.
– Ποια ήταν εκείνα τα επιστημονικά περιοδικά που χρησιμοποιήθηκαν για την ανασκόπηση;
– Συμπεριελήφθησαν σε αυτήν πρόσφατες εργασίες –είτε στηρίζουν είτε απορρίπτουν τους δικούς μας προβληματισμούς—, ελήφθησαν υπόψιν διπλωματικές εργασίες ή μεταπτυχιακές ή διδακτορικές διατριβές;
–Ποια ήταν τα κριτήρια της επιλογής ή της απόρριψης κάποιων άρθρων ή εργασιών; Ο ερευνητής βασίστηκε αποκλειστικά στην προσωπική του αντίληψη για τον ερευνητικό σχεδιασμό, για το μέγεθος (Ν) του δείγματος, καθώς και για την επιλογή της κατάλληλης στατιστικής ανάλυσης;
– Με ποια δεδομένα ο ερευνητής κατέληξε στα συμπεράσματά του;
– Ο ερευνητής βασίστηκε στα συμπεράσματα εκείνα των εργασιών που συνηγορούσαν υπέρ της έρευνάς του ή σε εκείνα που ήταν αντίθετα με αυτήν;
– Οι εργασίες που χρησιμοποιήθηκαν ήταν δημοσιευμένες σε υψηλής ποιότητας και βαρύτητας περιοδικά; Σε αυτές τις εργασίες ελήφθη υπόψιν ο αριθμό του δείγματος (Ν), δηλ. αν αυτό ήταν μεγάλο και επαρκές ή μικρό, ή αυτός ο παράγοντας δεν ελήφθη καθόλου υπόψιν;
Όπως αναφέρουν οι Καμπίτσης & Χαραχούσου (1999), «Η τεχνική της ανάλυσης της βιβλιογραφίας για περαιτέρω έρευνα ονομάζεται ΜΕΤΑ-ΑΝΑΛΥΣΗ και το κύριο χαρακτηριστικό της, είναι ότι η ανάλυση προέρχεται από μελέτες και όχι από άτομα, όπως συμβαίνει στις έρευνες άλλου τύπου […] Η τεχνική της μετα-ανάλυσης περιλαμβάνει τη διαδικασία μιας καθορισμένης μεθοδολογίας […] κι επιπλέον τη μετατροπή των αποτελεσμάτων των διάφορων μελετών σε ένα σταθερό μετρικό σύστημα που επιτρέπει την χρήση στατιστικών μεθόδων για την ανάλυσή τους. Στις μελέτες που γίνονται με την μέθοδο της μετα-ανάλυσης, ακολουθούμε γενικά μία από τις παρακάτω κατευθύνσεις: είτε αποφασίζουμε αν οι προηγούμενες έρευνες που έχουν γίνει δείχνουν σταθερά τη σημαντική επίδραση μιας πειραματικής μεταβλητής, είτε υπολογίζουμε το μέγεθος της επίδρασης μιας πειραματικής μεταβλητής βασιζόμενοι σε όλες τις προηγούμενες έρευνες που μπορέσαμε να εντοπίσουμε» (και όχι βεβαίως επιλεκτικά σε εκείνες μόνο οι οποίες συνηγορούν σε αυτό που θέλουμε εμείς να εκφράσουμε ή να υποστηρίξουμε).
«Σύμφωνα με τους Thomas & Nelson (1985), οι επιμέρους φάσεις για την διαδικασία της μετα-ανάλυσης είναι:
1) Ο προσδιορισμός τού προς διερεύνησιν προβλήματος.
2) Η έρευνα της κατάλληλης βιβλιογραφίας με συγκεκριμένα μέσα.
3) Η ενδελεχής ανασκόπηση της βιβλιογραφίας για να αποφασιστεί ποια βιβλιογραφία είναι κατάλληλη ώστε να συμπεριληφθεί και ποια όχι.
4) Ο προσδιορισμός και η κωδικοποίηση των σημαντικών χαρακτηριστικών των ερευνητικών εργασιών.
5) Ο υπολογισμός του μεγέθους επίδρασης (effect size).
6) H εφαρμογή των κατάλληλων στατιστικών μεθόδων.
7) Η έκθεση όλων των παραπάνω φάσεων, καθώς και των συμπερασμάτων.
Στο πρόβλημα της σύγκρισης των αποτελεσμάτων που προέκυψαν από έρευνες οι οποίες χρησιμοποίησαν διαφορετικές μεθόδους, μεταβλητές και στατιστικές αναλύσεις, μία λύση προτείνει ο Glass (1976, 1977) με τον υπολογισμό ενός δείκτη που τον ονομάζει «μέγεθος της επίδρασης» και τον συμβολίζει με το Δ, ο οποίος δείκτης βγαίνει από τον τύπο:
Δ = Me ¬ Mc / Sc
Όπου Me = ο μέσος όρος της πειραματικής ομάδας
Mc = ο μέσος όρος της ομάδας ελέγχου
Sc = η τυπική απόκλιση της ομάδας ελέγχου
Όπου e = experimental group (πειραματική ομάδα)
Όπου c = control group/team (ομάδα ελέγχου)
Εφόσον ο δείκτης Δ εκφράζεται με μονάδες τυπικής απόκλισης της ομάδας ελέγχου (control group/team), τα αποτελέσματα ερευνών που ασχολούνται με το ίδιο πρόβλημα μπορούν τότε να συγκριθούν.
Ο Hedges (1981, 1982a & b) και οι Hedges και Olkin (1980, 1983, 1985), με μελέτες πάνω στις στατιστικές ιδιότητες του δείκτη Δ, αναφέρουν ότι αυτός συμβάλλει σημαντικά στην κατάλληλη χρήση της μετα-ανάλυσης. Παρ’ όλ’ αυτά, η τεχνική της μετα-ανάλυσης έχει δεχθεί πολλές επικρίσεις που επικεντρώνονται στο γεγονός της σύγκρισης αποτελεσμάτων τα οποία προέρχονται από έρευνες που χρησιμοποίησαν διαφορετικές κλίμακες μέτρησης, διαφορετικές μεθόδους συλλογής δεδομένων και διαφορετικούς πειραματικούς σχεδιασμούς».
ΣΥΜΠΕΡΑΣΜΑ
Όπως λοιπόν αντιλαμβανόμαστε ΟΛΟΙ από τα ανωτέρω, άλλο πράγμα είναι η ανασκόπηση της βιβλιογραφίας (review) και άλλο η μετα-ανάλυση (την οποία επικαλούνται οι … ειδικοί) –της οποίας μετα-ανάλυσης βεβαίως απαραίτητη προϋπόθεση είναι η ανασκόπηση. Όμως σε καμία περίπτωση δεν μπορείς να βαπτίζεις την ανασκόπηση… μετα-ανάλυση, επειδή έτσι βολεύει!
Βιβλιογραφία
Glass G. (1976). “Primary, secondary, and meta-analysis in Social Research”, Educational Researcher, 5:3-8.
Glass G. (1977). “Integrating findings: The meta-analysis of research”, Review of Research in Education, 5: 315-379.
Glass G., McGraw B. & Smith, 1981. Meta-analysis in Social Research. Beverly Hills, CA: Sage Publications
Thomas J. & Nelson J. (1985). Introduction to Research in Health, physical Education, Recreation and Dance, Human Kinetics Publishers, Inc USA.
Thomas J. & Nelson J. (1990). Research Methods in Physical Activity, Human Kinetics Books, Champaign, Illinois.
Καμπίτσης, X. & Χαραχούσου, Υ. (1999). Τεχνικές έρευνας. Στατιστική Ανάλυση-Αξιολόγηση, Θεσσαλονίκη: Μαίανδρος.
Hedges L. (1981). “Distribution theory for Glass’s estimator of effect size and related estimators”, Journal of Educational Statistics, 6: 107-128.
Hedges L. (1982a). “Fitting categorical models to effect sizes from a series of experiments”, Journal of Educational Statistics, 7: 119-137
Hedges L. (1982b). “Estimation of effect size from a series of independent experiments”, Psychological Bulletin, 92: 490-499.
Hedges L. & Olkin I. (1980). “Vote counting methods in research synthesis”, Psychological Bulletin 88:359-363.
Hedges L. & Olkin I. (1983). “Regression models in research synthesis”, American Statistician, 37: 137-140
Hedges L. & Olkin I. (1985). Statistical Methods for Meta-analysis, New York: Academic Press.