סוגי תוקף של מערך המחקר
תוקף פנימי
תוקף מסקנה סטטיסטית
תוקף מבנה
תוקף חיצוני
א. תוקף פנימי
תוקף פנימי שואל את השאלה האם קיימת במחקר שונות שיטתית טעותית שנובעת ממשתנים חיצוניים.
כלומר האם קיימים הבדלים בין הקבוצות במשתנים חיצוניים שעלולים ליצור שונות שיטתי טעותית ולהוות הסבר חלופי לתוצאות
במלים אחרות: האם המשתנה הבלתי תלוי הוא, ורק הוא אחראי להבדלים שהתקבלו בין הקבוצות במשתנה התלוי.
ארטיפקטים= איומים על תוקף פנימי
כל משתנה חיצוני שעלול ליצור שונות שיטתית טעותית מהווה איום על התוקף הפנימי
ארטיפקט זהו מצב שבו קיימים הבדלים בין הקבוצות במשתנה חיצוני שעלול להוות הסבר חלופי.
קימים 13 ארטיפקטים שמאיימים על התוקף הפנימי
ברירה (סלקציה)= הבדלים מראש בין קבוצות הניסוי השונות באפיוני / תכונות הנבדקים
היסטוריה= הבדלים בזמן עריכת הניסוי בין קבוצות הניסוי
בשילה: הבדלים במשך זמן עריכת הניסוי בין קבוצות הניסוי
מכשור= הבדלים במכשירים או זמנים שונים של מדידות בין קבוצות הניסוי
מדידה= מדידה לפני הפעלת המב"ת בקבוצת ניסוי אחת. או רק אחת מקבוצות הניסוי עברה מדידה לפני
רגרסיה סטטיסטית= קבוצות קיצוניות +מכשירה בעל מהימנות לא מושלמת.
נשירה= הבדלים בכמות הנושרים בין קבוצות הניסוי
אינטראקציות עם ברירה= שילוב שלא נעשה הקצאה מיקרית +אחר מ [2-7] ארטיפקטים
היסטוריה מקומית= הבדלים במקום עריכת הניסוי בין קבוצות הניסוי
התמרמרות נבדקי קבוצת ביקורת
השפעת מידע המגיע לנבדקי קבוצת הביקורת על הטיפול
השווה מפצה= נובע מניסיון לא מודע של עוזרי המחקר/ נסיינים
תחרות מפצה- נובע מניסוי של הנבדקים עצמם להתחרות
ארבעת האיומים [10-13] נגרים בעקבות מעבר מידע בין קבוצת הניסוילקבוצת הביקורת . הדרך למנוע איומים אלאה זה לא לאפשר מעבר אינפורמציה בין הקבוצות
פירוט:
ארטיפקט ברירה = סלקציה
אומר שהיו הבדלים בין הקבוצות מראש, במאפיין כלשהו של הנבדק. למשל:
גיל
מוצא
מין
השכלה
מאפיין של הנבדק עלול ליצור שונות שיטתית טעותית ולהוות הסבר חלופי
כלומר יכול להיות שההבדל בין הקבוצות במשתנה התלוי לא נוצר בגלל המשתנה הבלתי תלוי אלא בגלל אותו מאפיין של נבדק
פתרון
הקצאה מקרית (נבדקים או תנאי ניסוי)
מכיוון שהאנשים הוקצו מיקרית, אנחנו מניחים שבתוך כל קבוצה יהיו נבדקים בעלי מאפיינים שונים אבל סביר להניח שלא יהיו הבדלים בין הקבוצות במאפיין כלשהו של הנבדק
זהו פתרון סטטיסטי בלבד.
כאשר קיימת הקצאה מקרית אז לא קיים ארטיפקט של ברירה.
כי תמיד נניח שבעקבות ההקצאה המקרית, לא היו קיימים הבדלים בין הקבוצות בשום מאפיין של נבדק
לעומת זאת יש מצבים שבהם שואלים אותנו ספציפית: "האם למרות ההקצאה המקרית קיים ארטיפקט של ברירה"
כדי שיהיה ארטיפקט של ברירה אז חייבים להתקיים שני תנאים
שיהיו הבדלים בין הקבוצות במאפיין כלשהו של נבדק
שאותו מאפיין יימצא בקשר סטטיסטי כולשהו עם המשתנה התלוי
דוגמא למצבים ספציפיים שבהם שואלים אותנו :האם למרות ההקצאה המקרית קיים ארטיפקט של ברירה
אם נאמר שבבדיקה מאוחרת (למרות ההקצאה המקרית) נמצאו הבדלים בין הקבוצות במאפיין כלשהו של הנבדק
אזי על מנת לבדוק אם קיים ארטיפקט של ברירה או לא נבדוק האם אותו מאפיין של ניבדק המצוין הוא רלוונטי (נמצא בקשר /מתאם סטטיסטי) עם המשתנה התלוי במחקר
מצב א- לא רלוונטי
כלומר אם נאמר לנו שלמרות ההקצאה המיקרית (בדוגמת הקפה):
בבדיקה מאוחרת יותר מצאו שאנשים בקבוצה של 2 כוסות הקפה היו בממוצע גבוהים יותר מהקבוצה של כוס הקפה האחת
במיקרה זה נגיד שגובה, סביר להניח, שהוא לא רלוונטי
כלומר במקרה זה גובה לא נמצא במתאם אם המשתנה התלוי = הזכרון לטווח קצר
ולכן לא יכול ליצור הבדלים בשונות שיטתית טעותית
ולכן לא סביר שקיים ארטיפקט של ברירה.
מצב ב- רלוונטי
בבדיקה מאוחרת יותר מצאו שבקבוצה של 2 כוסות הקפה היו אנשים יותר אינטליגנטיים מהקבוצה של כוס קפה אחד
סביר להניח שלאינטליגנציה יש מתאם עם זיכרון לטוח קצר
ולכן קיים ארטיפקט של ברירה (למרות ההקצאה המקרית)
מצב ג- מקרה של ספק
בבדיקה מאוחרת יותר נמצא שנבדקים ששתו 2 כוסות קפה היו בממוצע מבוגרת יותר מאשר נבדקים ששתו כוס קפה אחד (הבדלים בגיל)
אז יש ספק שהמשתנה רלוונטי או לא רלוונטי
(יש לבדוק האם גיל נמצא במתאם עם זיכרון ( =האם קיים))
האם קיים קשר סטטיסטי בין גיל לבין המשתנה התלוי במקרה (זכרון לטווח קצר
אם קיים קשר קיים ארטיפקט של ברירה- מישום שהגיל עשוי להוות הסבר חלופי
אם לא קיים קשר, אז הגיל לא הסבר חלופי, ולא קיים ארטיפקט של ברירה.
במבחן האחרון שאלו
בבדיקה מאוחרת יותר החוקר חישב ומצא שקיים מתאם בין גיל לזיכרון לטווח קצר
מה עליך לעשות על מנת לבדוק אם קיים ארטיפקט של ברירה.
תשובה
יש לבדוק האם קיימים הבדלים בין הקבוצות במשתנה גיל.
אם היו הבדלים בממוצעי הגילאים אז היה קיים ארטיפקט של ברירה
אם לא היו הבדלים בממוצעי הגילאים אז לא היה קים ארטיפקט של ברירה
מכיוון שאם אין הבדלים בין קבוצות גיל לא יכול היה להיווצר שונות שיטתית טעותית.
ארטיפקט היסטוריה
זהו מצב שבו היו הבדלים בין קבוצות הניסוי בזמן עריכת הניסוי
יתכן שבין הזמנים התרחש איזה שהוא אירוע שעלול להיות הסבר חלופי לתוצאות.
דוגמא
מערך ניסוי
נניח שעבור קבוצה אחת, ערכו את הניסוי מוקדם בבוקר (נתנו את כוס הקפה בבוקר)
נניח שעבור קבוצה שנייה, ערכו את הניסוי מאוחר בערב (נתנו את שתי כוסות הקפה בערב)
הסבר חלופי
אנו יודעים שהיו הבדלים בזמן: יכול להיות הסבר חלופי
הזמן יצר הבדלים בין הקבוצות = שונות שיטתית טעותית
כלומר יכול להיות שהזיכרון לטוח קצר תלוי בבוקר או בערב, ואז הוא משפיע על תוצאות הניסוי.
שני פתרונות אפשריים
א עריכת הניסוי באותו זמן
שכל הקבוצות יעשו את הניסוי באותו זמן (כלומר לאפס את השונות של המשתנה בזמן (= זמן עריכת הניסוי)
או
ב. הקצאה מקרית של תנאי הניסוי
נערוך הקצאה מקרית של תנאי הניסוי
כלומר נוודא שבתוך כל קבוצת הניסוי יהיו נבדקים שיעשו את הניסוי בזמנים שונים
(כלומר לא יהיה הבדל בין הקבוצות בזמן- שבממוצע יהיו הבדלים דומים בין הקבוצות)
ארטיפקט בשילה:
זהו מצב שבו היו הבדלים בין הקבוצות במשך הזמן שערך הניסוי- כלומר באורך המחקר.
( משך זמן לא חייב להיות שעות/ ימים)
הסבר חלופי
משך הזמן יכול להיות הסבר חלופי
מכיוון שיכול להיות אירוע פנימי אצל הנבדקים:
חוסר רכוז
רעב
עיפות
וכד'
(כל אילו יכולים להיות הסברים חלופיים)
שני פתרונות
א. איפוס השונות של משך זמן הניסוי
נחזיק קבוע את משך זמן הניסוי בין הקבוצות
כלומר כל הקבוצות יעשו את הניסוי באותו משך זמן
כלומר נאפס שונות של משך זמן הניסוי
ב. הקצאה מקרית של תנאי הניסוי
נעשה הקצאה מקרית של תנאי הניסוי
כלומר אם אני רוצה שיהיו משכי זמן שונים אז שבתוך כל קבוצה יהיו משכי זמן שונים
אבל שלא יהיו הבדלים בין הקבוצות במשך הזמן.
ההבחנה בין ארטיפקט היסטוריה לארטיפקט בשילה
ארטיפקט היסטוריה נוצר אם הזמנים שבהם ערכו את הניסוי היו שונים (למשל בוקר לעומת ערב)
ארטיפקט בשילה נוצר עם משך הזמן בין הקבוצות תהיה שונה. ( למשל קבוצה אחת ערכה את המבחן במשך שעה והקבוצה השנייה ערכה את הניסוי במשך שלוש שעות)
ארטיפקט מכשור
הבדלים במכשירים או בזמנים שונים של מדידות בין קבוצות הניסוי
מכשור
מכשור פירושו כלי המדידה של המשתנה התלוי
במקרה שלנו מדובר
שאלון מילים
סטופר
משקל
וכד'
כלומר אם היו הבדלים בין הקבוצות בסוג המכשיר לקבוצות השונות כגון:
סטופר- מידת כיול שונה בין אחד לשני
משקל- מידת כיול שונה בין אחד לשני
רשימת מילים- קבוצות שונות של מילים (מילים שקל יותר לזכור לעומת אחרות שקשה יותר לזכור)
שני פתרונות
א. איפוס סטיית המכשיר
נאפס את הסטייה של המכשיר
כלומר החזיק קבוע את מכשיר המדידה בין הקבוצות
כלומר כל הקבוצות ישתמשו באותו מכשיר.
או
ב. הקצאה מקרית לתנאי הניסוי
נדאג שבתוך כל קבוצה יהיו נבדקים שיבדו בכל המכשירים השונים, אבל שלא יהיו הבדלים בין הקבוצות
ארטיפקט מדידה לפני
הכוונה שהיו הבדלים בין הקבוצות במדידה לפני
כלומר
קבוצה אחת עברה מדידה לפני המניפולציה
קבוצה שניה לא עברה מדידה לפני מניפולציה
דוגמא
עושים בדיקה האם קורס לפני הפסיכומטרי אכן מעלה את ציון הפסיכומטרי
מהלך הניסוי
קבוצה 1 :עורכת בדיקה לפני - עוברת קורס - עובדת בדיקה אחרי
קבוצה 2: לא עורכת בדיקה לפני- לא עובדת קורס- עוברת בדיקה אחרי
כלומר היו הבדלים בין הקבוצות
הסבר חלופי
יתכן שהמדידה יצרה את ההבדלים
לגבי הדוגמא:
התנסות בכלי המדידה (עשו דמי פסיכומטרי לפני= התכוננו לפסיכומטרי)
כלומר התנסות בכלי המדידה יצרה את ההבדלים בציון ולא הקורס (= המניפולציה)
שני פתרונות
א. כן / לא לעשות מדידה לפני
לא להעביר לשום קבוצה מדידה לפני
להעביר לשני הקבוצות מדידה לפני
ב. הקצאה מקרית של נבדקים
אם עושים הקצאה מקרית של נבדקים אז אפשר להניח שהקבוצות היו שוות לפני תחילת הניסוי
ארטיפקט רגרסיה סטטיסטית (פחות חשוב בקורס זה)- להבהיר לעצמי יותר
זהו מצב שבו לא נעשתה הקצאה מקרית ולכן הקבוצות היו שונות במידת הקיצונית של המשתנה התלוי. (בלתי תלוי???)
בנוסף, מכיוון שהמהימנות של כלי המדידה היא לעולם לא מושלמת אז בכל ציון נצפה יש מרכיב של טעות מקרית.
ולכן אם נחזור על המדידה פעם נוספת ההנחה היא שתתרחש רגרסיה סטטיסטית
ברגרסיה סטטיסטית הכוונה היא שהציונים יתקרבו לממוצע
כלומר נסיגה לכיוון הממוצע (הציונים הקיצונים נוטים ללכת לממוצע)
במילים אחרות ככל שנחזור ונעשה יותר מדידות כך הציונים יתקרבו יותר לממוצע
רגרסיה סטטיסטית זהו מצב שהיתה מדידה לפני ומדידה אחרי.
במקרה של רגרסיה סטטיסטית, לא היתה הקצאה מקרית לכן הקבוצות נבדקו במידת הקיצוניות שלהם.
וכיוון שבמדידה אחרי יש נסיגה למרכז והשונות שונה ביניהם אז באחת הקבוצות היתה רגרסיה לממוצע יותר מאשר הקבוצה השנייה.
פתרון
אם נעשה הקצאה מקרית אז הקבוצות שוות במידת הקיצוניות שלהם
ולכן אם תתבצע רגרסיה אז היא תתבצע בשתי הקבוצות באותה מידה.
ארטיפקט נשירה
זהו מצב שהיו הבדלים בין הקבוצות במספר הנושרים במהלך הניסוי
כלומר בקבוצת אחת נשרו יותר אנשים מקבוצה האחרת.
הסבר הבעיה
בקבוצה שהרבה נשרו בה ייתכן שהיא כבר לא מייצגת את כלל האוכלוסייה
יש משהו שמאפיין את אלא שנשארו, מאפיין שמיחד אותם מכלל האוכלוסייה
דוגמא
אם עושים ניסוי כיצד חרדה משפיע על מטלה
בקבוצה אחת אני מאיים בשוק חשמלי אם הנבדק לא יבצע את הניסוי
בקבוצה השנייה אני לא מאיים בשוק חשמלי
אז בקבוצה הראשונה ינשרו הרגה מהנבדקים
יתכן שלאילו אשר לא נשרו יש מאפיין שמייחד אותם מכלל האוכלוסייה.
אם נשרו הרבה ונשארו נבדקים עם מאפיין מיוחד אז פגענו במידת הייצוגיות של הקבוצה ולפיכך המסקנה לא תקפה.
שאלה מהמבחן
היה קורס גמילה
מהקבוצה שעברה את הקרוס נשרו הרבה
ייתכן שאילו אשר נשרו היו המעשנים הכבדים ומה שנשאר זה אלא שמעשנים יותר חברותית אשר יתכן שגם בלעדי הקורס הם היו מפסיקים לעשן
כלומר יש הסבר חלופי.
פתרון
אי אפשר לפתור
אך החוקר צריך להיות עם היד על הדופק ולבדוק את כמות הנושרים של הקבוצה
ואם היתה נשירה באחת הקבוצות אז הוא לא יכול להשתמש בממצאי המחקר ועליו לשנות את הניסוי.
יתכן שמה שהבריח את הנבדקים זה המניפולציה.
אינטראקציות עם ברירה
זהו שילוב של ארטיפקט ברירה עם כל אחד מהקודמים (2-7)
היסטוריה
בשילה
מכשור
מדידה
רגרסיה סטטיסטית
נשירה
פתרון
לעשות הקצאה מקרית
אם עושים הקצאה מקרית אז לא היו הבדלים בין הקבוצות במאפיין כלשהו של הנבדק
ארטיפקט של היסטוריה מקומית= חשוב מאוד
היו הבדלים בין הקבוצות במקום עריכת הניסוי
הסבר הבעיה
אם הקבוצות השונות עשו את המבחן במקומות שונים אז יתכן שהתרחש אירוע מקומי באחת הקבוצות. למשל:
מזגן התקלקל
היה הרבה רעש
אחד הנבדקים סיפר בדיחה ושעשע את הקבוצה
הריהוט היה שונה
כל אלא יכולים ליצור הסבר חלופים לתוצאות שהתקבלו
פתרון
א. לאחד את השונויות של מקום הניסוי
החזקת מקום הניסוי כקבוע
כלומר כל הנבדקים מכל קבוצות יעשו את הניסוי באותו מקום
ב. הקצאה מקרית של תנאי הניסוי
אם יש כמה חדרים ורוצים להשתמש בכולם אז אפשר לעשות הקצאה מקרית של תנאי הניסוי
כלומר נוודא שבתוך כל קבוצה יהיו נבדקים שעשו את הניסוי בחדר שונים
אבל שלא יהיה הבדלים בין הקבוצות במיקום
התייחסות כללית לארטיפקטים 10-13
כל 9 האיומים הראשונים (1-9) קשורים להקצאה מיקרית.
ארבעת האיומים הבאים (10-13) קשורים למעבר של מידע בין קבוצות הניסוי (ולא קשורים להקצאה מיקרית)
ולפיכך הפתרון שלהם (10-13) לא יהיה הקצאה מיקרית
הפתרון שלהם יהיה למנוע מעבר של מידע בין קבוצות הניסוי השונות.
התמרמרות נבדקי קבוצת ביקורת
כדי שההתמרמרות תתרחש צריכים להתקיים 2 תנאים
צריך להיות מעבר אינפורמציה בין קבוצות הניסוי
קבוצת הניסוי קיבלה איזה שהוא יחס מועדף
יחס מועדף - יכול להיות למשל:
קורס צ'ופר
לעשות קורס
תשלום כספי
הסבר הבעיה
אם היתה דליפה של מידע וקבוצת הביקור קיבלה אינפורמציה על יחס מועדף
אז המוטיבציה שלהם תפחת
הם פחות ירצו לשתף פעול
הדבר יבוא לידי ביטוי בתוצאות
ויוכל להיות הסבר חלופי לתוצאות.
השפעת מידע המגיע לנבדקי קבוצת הביקורת על הטיפול
דוגמא
אם רוצים לבדוק אם טכניקה שפיתחתי לשיפור הזיכרון אכן משפרת את הזיכרון לטווח קצר
ניתן לקבוצה א' קורס שילמד את הטכניקה
לקבוצה ב' לא ניתן קורס שילמד את הטכניקה
אם יהיה מעבר מידע
אז הנבדקים בקבוצת הביקורת גילוי את המניפולציה
כלומר למדו את הטכניקה
אז טשטשנו את ההבדלים בין הקבוצות במשתנה הבלתי תלוי (אין כבר קבוצה שלמדה את הטכניקה לעומת קבוצה שלא למדה את הטכניקה)
לפיכך יכול להיות הסבר חלופי לתוצאות שהתקבלו במחקר (שקבוצת הביקורת למדה את השיטה)
שאלה שהיתה במבחן
רצו לדעת האם חשיפה לפרסומת משפיעה על השימוש במוצר
לקחו שלוש קבוצות ניסוי בבית ספר
קבוצה א' הקרינו את הפרסומת במשך חודש
קבוצה ב' הקרינו את הפרסומת במשך שבועים
קבוצה ג' הקרינו את הפרסומת במשך שבוע
אבל בגלל שכל התלמידים היו באותו בית ספר והיה מעבר מידע
יצא שכולם קיבלו את ההשפעה של הפירסומת במשך חודש (אותו זמן)
כלומר הקבוצה הראשונה סיפרו לאחרים והיתה חשיפה גם לקבוצות האחרות
כלומר יש הסבר חלופי לתוצאות (בגלל שטושטשו ההבדלים בזמן החשיפה)
השוואה מפצה
השוואה מפצה זה כאשר עוזרי המחקר (= נסיינים = מריצי הניסוי) יצרו איזו השוואה של תנאי הניסוי באופן מודע או לא מודע
דוגמא
רוצים לדעת האם תקשורת מילולית משפיע על התפתחות תפקוד התינוק בשלושה חודשים ראשונים לחייו
קבוצת הביקורת נחשפה לתקשורת בין מטפלים (מריצי הניסוי) לתינוקות
קבוצת הניסוי היתה צריכה למנוע מהמטפלים תקשורת מילולית.
אבל קרה שפה ושם נפלטו למטפלים מילה זו או אחרת במהלך טיפול בתינוקות
וכך נוצרה השוואה של תנאי הניסוי (כי רצו ליצור מצב ללא תקשורת)
תחרות מפצה- נובע מניסוי של הנבדקים עצמם להתחרות
גם פה צריך שיתקימו שני תנאים
צריך להיות מעבר אינפורמציה בין קבוצות הניסוי
קבוצת הניסוי קיבלה איזה שהוא יחס מועדף
ובנוסף
ג. הנבדקים בקבוצת הביקורת ניסוי להוכיח את עצמם- כלומר ניסו להתעלות על עצמם
כלומר הנבדקים בקבוצת הביקורת ניסוי להוכיח שהם מסוגלים להצליח טוב יותר גם ללא קורס כולשהו / הכשרה מסוימת/ תגמול כספי
כלומר הנבדקים בקבוצת הביקורת מגבירים מוטיבציה מעבר לסטנדרט.
(כלומר תחרות מפצה זה איום שנוצר מהנבדקים שמנסים להתחרות- בניגוד להשוואה מפצה, שבאה מצד עוזרי המחקר (נסיינים= מריצי הניסוי))
לסיכום
נתנו דוגמאות להסברים חלופים שנובעים ממשתנים חיצוניים שעלולים ליצור שונות שיטתית טעותית.
ככל שאנחנו פותרים יותר ארטיפקטים
כלומר מבטלים איומים של תוקף פנימי
כך אנו מגדילים את התוקף הפנימי
במילים אחרות כך אנו מפריכים יותר הסברים חלופיים.
ניסוח תשובה
משתנה חיצוני למחקר הנובע מ , ויוצר שונות שיטתית טעותית, המהווה הסבר חלופי (למשתנה הבלתי תלוי ,), לתוצאות שהתקבלו במשתנה התלוי במחקר .
אין תגובות:
הוסף רשומת תגובה