ALT GRUP ANALİZLERİ VE ETKİLEŞİM

Alt grup analizi, bir araştırmanın farklı özelliklere sahip katılımcılarında etkinin değişip değişmediğini incelemeye yardımcı olur. EMA rehberi bu incelemelerin yorumunda kullanılan ölçeğe dikkat edilmesini ister. Göreli etki ile mutlak etki aynı soruyu yanıtlamaz; etkileşim sonucu ölçeğe ve modele bağlı olabilir. Ayrıca küçük ya da dengesiz büyüklükteki alt gruplarda testlerin önemli farklılıkları yakalama gücü sınırlı olabilir. Anlamlı etkileşim bulunmaması, bütün gruplarda etkinin kesin olarak aynı olduğunu kanıtlamaz.

Gelman ve Stern’in açıkladığı temel hata, bir grupta istatistiksel olarak anlamlı olan sonucun diğerinde anlamlı olmamasını, iki etki arasında kanıtlanmış fark saymaktır. Birinci karşılaştırma her grubun kendi etkisini sorgular; ikinci soru ise bu etkilerin birbirinden ayrılıp ayrılmadığıdır. Yalnız iki ayrı P değerinin farklı taraflarda kalması bu ikinci soruyu çözmez. Okuyucu, “bu grupta etkili, diğerinde etkisiz” gibi keskin bir cümlenin gerçekten gruplar arası karşılaştırmayla desteklenip desteklenmediğini kontrol etmelidir.

ICEMAN, görünürdeki etki değişikliğinin ne kadar inandırıcı olduğunu değerlendirmek için geliştirilmiş bir araçtır. Önceden öngörülen yön, önceki kanıt, etkileşim testi, incelenen değişken sayısı ve sürekli değişkenlerde keyfî kesimlerden kaçınma gibi konuları birlikte ele alır. Araç tek bir P değerinden otomatik karar üretmez. Yalnız çok küçük bir P değerine dayanan iddia yine zayıf olabilir; değerlendirme araştırma sorusu ve diğer kanıtlarla birlikte yapılır. Bu yaklaşım, istatistiksel bulgu ile güvenilir yorum arasındaki farkı görünür kılar.

Sun ve arkadaşlarının sistematik incelemesinde 469 araştırmanın 207’si alt grup analizi bildirmiştir. Birincil sonuç için alt grup etkisi ileri süren 64 araştırmanın yalnız beşinde, hipotezin açıkça önceden belirlendiği ve anlamlı etkileşim testinin birlikte sunulduğu görülmüştür. Bu tarihsel raporlama incelemesi, bütün alt grup analizlerinin değersiz olduğunu söylemez. İddianın nasıl üretildiğinin ve hangi kanıta dayandığının açıklanması gerektiğini gösterir; eksik raporlama ile kesin yanlış bulgu aynı şey değildir.