בימים
האחרונים התפרסמה בארצות הברית ידיעה על מקרה נוסף של הונאה אקדמית. הפעם
מדובר על פרסום של מאמר בכתב העת הנחשב מאוד science ובו מרצה ותלמיד מחקר
תיארו ניסוי שערכו אשר מוכיח כי מפגש של נחקרים עם תועמלנים להט"בים הצליח
לשנות באופן דרמטי את עמדותיהם הפוליטיות בסוגיית השוויון בנישואים. המחקר
זכה להרבה השפעה.
הבעיה התחילה כאשר שני סטודנטים לדוקטורט ניסו "לשכפל" את המחקר אבל גילו תוצאות שונות לגמרי והרבה פחות דרמטיות. הם ניגשו לקובץ הנתונים המקורי (שכיום זמין באינטרנט לגבי כל מחקר בכתב עת שמכבד את עצמו) וגילו כמה תכונות סטטיסטיות מוזרות, למשל שאחוז ההיענות לבדיקה החוזרת היה גבוה מאוד יחסית למה שמקובל במרבית המחקרים. בקיצור, התוצאות היו טובות מדיי, מושלמות מדיי. הם פנו לחברת הסקרים שלכאורה ערכה בעבור החוקרים את המבדק האמפירי וגילו שהיא בכלל לא יודעת על מה מדובר. בקיצור, מהר מאוד התגלה שכל הנתונים היו מומצאים לגמרי.
מה שאותי עניין בכל הסיפור הזה לא היה העובדה שיש רמאויות בעולם מדעי החברה. אנחנו מכירים סיפורים כאלה לא מהיום. עניינו אותי שני דברים שקשורים לרמה שבה חוקרים וכתבי עת מדעיים מסוגלים כיום לבדוק בצורה רצינית ומפורטת את חומרי הגלם שעל בסיסם נכתבים המחקרים.
ראשית, מסתבר שמי שפברק את הנתונים היה תלמיד המחקר והוא רימה לא רק את כתב העת אלא גם את המרצה שכתב ביחד איתו את המאמר. מסתבר שהפרופ' שכתב את המאמר לא היה שותף בכלל לשום חלק במחקר שהיה כרוך במחקר עצמו ובאיסוף הנתונים. אני מניח שזה לא מפתיע הרבה אנשים שעוסקים בתחום ויודעים כיצד מאמרים נכתבים באופן שבו מרבית העבודה נעשית על ידי אחד הכותבים והאחר שותף בעיקר לשלב הכתיבה, אבל זה עדיין ממצא מטריד.
שנית, לא בפעם הראשונה אנחנו רואים שבעיות חמורות מבחינה מתודולוגית מתגלות דווקא על ידי סטודנטים ולא על ידי כל מערכת הבקרה האקדמית שהיתה אמורה לבחון את אמינותו ומהימנותו של המחקר. בפעם הקודמת היה זה מחקר כלכלי מפורסם שנתגלו בו בעיות על ידי שני סטודנטים שגילו בעיה בקובץ האקסל כאשר ניסו לשכפל את המחקר. העובדה הזאת מראה שוב את המחיר של תרבות הפרסומים המהירה שמאפיינת כיום את העולם האקדמי ולא מאפשרת לחוקרים מקצועיים להקדיש זמן מספק לבקר באופן רציני את החומרים שעוברים תחת ידם. הדגש על תפוקה ולא על איכות מראה את אותותיו גם במקרה הזה. מסתבר שלפעמים סטודנטים הם הרבה יותר יסודיים וביקורתיים מהמרצים שאמורים להנחות אותם.
וזה מזכיר לי אנקדוטה ששמעתי לא מזמן מחבר אקדמאי. הוא כבר פרסם כמה מאמרים ורובם עברו בלי בעיות מיוחדות. לרוב הוא לא קיבל הערות משמעותיות על ההפניות שלו למאמרים אחרים. והנה הוא הגיש מאמר לכתב עת לא נחשב במיוחד והסתבר לו שמי שנתנו לו ביקורת הלכו לבדוק כל אחת מן ההפניות שלו למאמרים ומחקרים אחרים. הם נתנו לו הערות מאוד ספציפיות על כל מיני אי דיוקים זניחים למדיי. זה די הפתיע אותו (לטובה) שככה המבקרים של המאמר הלכו באמת לבדוק ביסודיות את כל ההפניות והוא בירר מה העניין. התברר לו שאת כתב העת הזה עורכים דווקא סטודנטים נלהבים בתואר ראשון ושני שלוקחים את העניין מאוד ברצינות והופכים כל מאמר שהם מקבלים מכל הכיוונים לפני שהם מאשרים אותו לפרסום. שוב מתברר שדווקא סטודנטים הם מבקרים יותר יסודיים כיום של מאמרים מאשר מרצים עמוסים שלא באמת מצליחים להקדיש את הזמן כדי לחטט במאמרים שנשלחים לשיפוטם עד הסוף.
הידיעה על המאמר המפוברק: http://www.washingtonpost.com/…/the-tricky-incentives-of-s…/
דוח הביקורת המעניין מאוד שפוצץ את הסיפור: http://stanford.edu/…/broockman_kalla_aronow_lg_irregularit…
הבעיה התחילה כאשר שני סטודנטים לדוקטורט ניסו "לשכפל" את המחקר אבל גילו תוצאות שונות לגמרי והרבה פחות דרמטיות. הם ניגשו לקובץ הנתונים המקורי (שכיום זמין באינטרנט לגבי כל מחקר בכתב עת שמכבד את עצמו) וגילו כמה תכונות סטטיסטיות מוזרות, למשל שאחוז ההיענות לבדיקה החוזרת היה גבוה מאוד יחסית למה שמקובל במרבית המחקרים. בקיצור, התוצאות היו טובות מדיי, מושלמות מדיי. הם פנו לחברת הסקרים שלכאורה ערכה בעבור החוקרים את המבדק האמפירי וגילו שהיא בכלל לא יודעת על מה מדובר. בקיצור, מהר מאוד התגלה שכל הנתונים היו מומצאים לגמרי.
מה שאותי עניין בכל הסיפור הזה לא היה העובדה שיש רמאויות בעולם מדעי החברה. אנחנו מכירים סיפורים כאלה לא מהיום. עניינו אותי שני דברים שקשורים לרמה שבה חוקרים וכתבי עת מדעיים מסוגלים כיום לבדוק בצורה רצינית ומפורטת את חומרי הגלם שעל בסיסם נכתבים המחקרים.
ראשית, מסתבר שמי שפברק את הנתונים היה תלמיד המחקר והוא רימה לא רק את כתב העת אלא גם את המרצה שכתב ביחד איתו את המאמר. מסתבר שהפרופ' שכתב את המאמר לא היה שותף בכלל לשום חלק במחקר שהיה כרוך במחקר עצמו ובאיסוף הנתונים. אני מניח שזה לא מפתיע הרבה אנשים שעוסקים בתחום ויודעים כיצד מאמרים נכתבים באופן שבו מרבית העבודה נעשית על ידי אחד הכותבים והאחר שותף בעיקר לשלב הכתיבה, אבל זה עדיין ממצא מטריד.
שנית, לא בפעם הראשונה אנחנו רואים שבעיות חמורות מבחינה מתודולוגית מתגלות דווקא על ידי סטודנטים ולא על ידי כל מערכת הבקרה האקדמית שהיתה אמורה לבחון את אמינותו ומהימנותו של המחקר. בפעם הקודמת היה זה מחקר כלכלי מפורסם שנתגלו בו בעיות על ידי שני סטודנטים שגילו בעיה בקובץ האקסל כאשר ניסו לשכפל את המחקר. העובדה הזאת מראה שוב את המחיר של תרבות הפרסומים המהירה שמאפיינת כיום את העולם האקדמי ולא מאפשרת לחוקרים מקצועיים להקדיש זמן מספק לבקר באופן רציני את החומרים שעוברים תחת ידם. הדגש על תפוקה ולא על איכות מראה את אותותיו גם במקרה הזה. מסתבר שלפעמים סטודנטים הם הרבה יותר יסודיים וביקורתיים מהמרצים שאמורים להנחות אותם.
וזה מזכיר לי אנקדוטה ששמעתי לא מזמן מחבר אקדמאי. הוא כבר פרסם כמה מאמרים ורובם עברו בלי בעיות מיוחדות. לרוב הוא לא קיבל הערות משמעותיות על ההפניות שלו למאמרים אחרים. והנה הוא הגיש מאמר לכתב עת לא נחשב במיוחד והסתבר לו שמי שנתנו לו ביקורת הלכו לבדוק כל אחת מן ההפניות שלו למאמרים ומחקרים אחרים. הם נתנו לו הערות מאוד ספציפיות על כל מיני אי דיוקים זניחים למדיי. זה די הפתיע אותו (לטובה) שככה המבקרים של המאמר הלכו באמת לבדוק ביסודיות את כל ההפניות והוא בירר מה העניין. התברר לו שאת כתב העת הזה עורכים דווקא סטודנטים נלהבים בתואר ראשון ושני שלוקחים את העניין מאוד ברצינות והופכים כל מאמר שהם מקבלים מכל הכיוונים לפני שהם מאשרים אותו לפרסום. שוב מתברר שדווקא סטודנטים הם מבקרים יותר יסודיים כיום של מאמרים מאשר מרצים עמוסים שלא באמת מצליחים להקדיש את הזמן כדי לחטט במאמרים שנשלחים לשיפוטם עד הסוף.
הידיעה על המאמר המפוברק: http://www.washingtonpost.com/…/the-tricky-incentives-of-s…/
דוח הביקורת המעניין מאוד שפוצץ את הסיפור: http://stanford.edu/…/broockman_kalla_aronow_lg_irregularit…
אין תגובות:
הוסף רשומת תגובה