Understanding Statistics and Experimental Design

Empat pengertian dasar

• Peluang adalah angka antara 0 dan 1 untuk suatu kejadian. Contoh: peluang dadu menunjukkan angka 4 adalah 1/6.
• Distribusi peluang adalah daftar peluang untuk semua hasil yang mungkin. Pada dadu ada enam hasil, masing-masing berpeluang 1/6.
• Peluang bersyarat, ditulis P(A|B), adalah peluang A bila kita sudah tahu B terjadi. Garis tegak dibaca “bila diketahui”. Contoh kartu: peluang kartu pertama sekop adalah 13/52. Bila kartu pertama memang sekop, peluang kartu kedua sekop tinggal 12/51. Bila kartu pertama hati, peluangnya 13/51.
• Kejadian saling bebas berarti mengetahui B tidak mengubah peluang A, yaitu P(A|B) = P(A). Contoh: bila kartu pertama dikembalikan ke tumpukan, peluang sekop pada tarikan kedua tetap 13/52.

Empat istilah pada tes medis

Seseorang bisa sakit atau tidak, dan tes bisa positif atau negatif. Jadi ada empat kemungkinan.

Contoh utama: tes HIV

Misalkan sebuah tes HIV punya sensitivitas 0,9999 dan spesifisitas 0,9999. Angka kejadian infeksi di masyarakat adalah 0,0001, yaitu 1 dari 10.000 orang. Seseorang dipilih acak, dites, dan hasilnya positif. Berapa peluang ia benar-benar terinfeksi?

Banyak orang menjawab 0,9999. Jawaban yang benar adalah 0,5.

Dengan rumus, ini disebut teorema Bayes:

Hasilnya bergantung pada angka kejadian. Bila angka kejadian 1 dari 100.000, peluangnya turun menjadi sekitar 0,1. Bila angka kejadian 0,5, peluangnya 0,9999. Jadi kita butuh tiga angka: sensitivitas, spesifisitas, dan angka kejadian. Bila salah satu tidak ada, kesimpulannya tidak sah.

Dari sini muncul pesan yang diulang di seluruh buku: waspadai informasi sebagian (partial information).

Tes kedua

Apa yang terjadi bila dua orang yang positif tadi dites sekali lagi? Sekarang hanya dua orang yang diuji: satu terinfeksi dan satu tidak. Tes yang sangat baik hampir pasti positif untuk yang terinfeksi dan negatif untuk yang tidak. Orang yang dua kali positif punya peluang terinfeksi 0,9999.

Dalam praktik angkanya lebih rendah, karena sebagian orang selalu positif walau tidak terinfeksi. Ada molekul dalam tubuh mereka yang mirip antibodi yang dicari tes.

Buku juga menyebut kasus pengadilan Amanda Knox. Hakim menolak analisis genetik kedua karena menganggap peluang hasil yang jelas terlalu kecil. Padahal, seperti contoh di atas, pengujian kedua bisa membuat perbedaan besar.

Contoh vaksin: bandingkan dengan pasangannya

Vaksin flu babi bisa menimbulkan sindrom Guillain-Barré pada 1 dari 1.000.000 orang. Apakah kita perlu takut divaksin? Angka itu saja belum cukup. Kita juga perlu tahu peluang terkena sindrom itu tanpa vaksin.

Dalam contoh buku, flu babi sendiri menimbulkan sindrom itu pada 1 dari 3.000 penderita, dan peluang orang yang tidak divaksin terkena flu babi adalah 1 dari 300.

Jadi tanpa vaksin peluangnya sedikit lebih tinggi daripada dengan vaksin, dan vaksin masih memberi perlindungan dari flu. Pelajarannya: satu peluang harus selalu dibandingkan dengan peluang pasangannya.

Odds Ratio

“Banyak perokok meninggal karena serangan jantung.” Ini juga informasi sebagian. Pertanyaan baliknya: berapa banyak bukan perokok yang meninggal karena serangan jantung?

Odds Ratio (OR) membandingkan dua kelompok. Contoh A di buku: dari 107 perokok, 7 terkena serangan jantung dan 100 tidak. Dari 101 bukan perokok, 1 terkena dan 100 tidak.

OR = 7 berarti odds perokok terkena serangan jantung tujuh kali odds bukan perokok. OR = 1 berarti tidak ada beda.

Sekarang contoh B: jumlah orang yang tidak sakit di kedua kelompok dinaikkan menjadi 10.000. OR tetap (7/10.000)/(1/10.000) = 7. Padahal pada contoh A ada 8 dari 208 orang yang terkena, sedangkan pada contoh B hanya 8 dari 20.008. Risikonya turun kira-kira 100 kali, tetapi OR tidak berubah.

Dunia penyakit yang lebih rumit

Merokok tidak hanya berkaitan dengan serangan jantung. Ia bisa memengaruhi penyakit lain, ke arah buruk atau baik. Untuk menjawab “haruskah saya berhenti merokok” secara lengkap, kita perlu memperhitungkan semua penyakit beserta beratnya masing-masing, termasuk penyakit yang belum ditemukan.

Informasi selengkap itu tidak pernah tersedia. Itu tidak berarti statistik tidak berguna. Artinya kita harus sadar bahwa keputusan kita didasarkan pada informasi sebagian, dan berusaha mencari informasi sebanyak yang praktis.

Tugas Bab 1

Cerita kapal selam

Sebuah kapal selam memakai sonar agar tidak menabrak batu karang. Bila ada batu, angka pada alat sonar lebih besar daripada bila tidak ada batu. Masalahnya, angka itu tidak pernah tetap. Ikan, ganggang, dan alatnya sendiri membuat angka naik turun walau keadaannya sama. Naik turun yang acak ini disebut derau (noise).

Karena itu tiap keadaan digambarkan dengan satu kurva berbentuk lonceng (kurva Gaussian). Dalam contoh buku:

• Tidak ada batu (derau saja): angka sonar rata-rata 45.
• Ada batu (sinyal + derau): angka sonar rata-rata 70.
• Lebar kedua kurva sama, yaitu simpangan baku σ = 10. Makin besar σ, makin besar deraunya.

Kurva lonceng ditentukan sepenuhnya oleh dua angka: rata-rata (μ) yang menentukan letaknya, dan simpangan baku (σ) yang menentukan lebarnya.

Daya beda d′

Seberapa mudah kedua keadaan dibedakan? Itu bergantung pada seberapa banyak kedua kurva bertumpang tindih. Bila keduanya berimpit, sonar tidak berguna. Bila hampir tidak bertumpang tindih, membedakannya mudah.

d′ adalah perbandingan sinyal terhadap derau. d′ naik bila jarak antar rata-rata membesar, atau bila deraunya mengecil.

Ambang keputusan

Kapan mesin harus dimatikan? Kita perlu satu angka batas, yang disebut ambang keputusan (criterion). Bila angka sonar di atas ambang, kita memutuskan “ada batu”. Bila di bawah, kita lanjut berlayar.

Letak ambang adalah pilihan kita. Bila batu dan tidak ada batu sama sering terjadi, ambang terbaik adalah titik potong kedua kurva, yaitu 57,5 pada contoh ini. Di titik itu jumlah keputusan benar paling banyak.

Setiap keputusan punya empat kemungkinan hasil:

Mengapa persen benar berbahaya

Dalam percobaan deteksi, peserta melihat layar. Kadang ada bercak cahaya redup, kadang tidak. Bila bercak muncul di separuh percobaan, persen benar dihitung dari dua hal:

Sekarang bayangkan peserta menggeser ambangnya jauh ke kanan, sehingga hampir selalu menjawab “tidak ada”. Hit menjadi 0 dan Correct Rejection menjadi 1. Persen benar = (0 + 1)/2 = 50%, sama seperti menebak. Padahal matanya tidak berubah; d′ tetap sama. Yang berubah hanya cara ia memutuskan.

Jadi persen benar 75% bisa berarti dua hal: daya beda tinggi dengan ambang yang buruk, atau daya beda lebih rendah dengan ambang yang pas. Dari persen benar saja kita tidak bisa tahu. Persen benar adalah informasi sebagian.

Ambang juga bisa sengaja digeser. Bila “tidak ada” lebih sering terjadi, wajar menggeser ambang agar lebih sering menjawab “tidak ada”. Bila salah satu jawaban diberi imbalan lebih besar, ambang juga akan bergeser.

Menghitung d′ dari data

Pada kapal selam kita tahu kurvanya. Pada manusia kita tidak tahu. Kita hanya punya jawaban mereka. Ternyata daya beda dan ambang tetap bisa dipisahkan:

z adalah fungsi yang mengubah peluang menjadi jarak pada kurva lonceng baku. Anggap saja sebagai fungsi di komputer: qnorm() di R atau NORM.S.INV() di Excel. Angka b mengukur seberapa jauh ambang yang dipakai dari ambang terbaik. b = 0 berarti ambangnya tepat di titik potong.

d′ tidak berubah bila ambang berubah. Tetapi d′ punya tiga syarat:

1. Kedua distribusi berbentuk lonceng (Gaussian). Syarat ini sering terpenuhi.
2. Kedua distribusi punya lebar yang sama. Biasanya terpenuhi karena dua rangsangan yang dibandingkan mirip.
3. Ambang tidak berubah selama pengukuran. Syarat ini penting dan sulit diperiksa.

Buku merangkumnya begini: d′ bebas dari ambang, tetapi tidak bebas dari model. Tidak ada yang gratis.

Enam contoh penerapan

1. Dokter melawan sistem AI. Keduanya 80% benar dalam mendiagnosis. Dokter: Hit 0,80 dan alarm palsu 0,20, sehingga d′ = 1,68. AI: Hit 0,98 dan alarm palsu 0,38, sehingga d′ = 2,36. AI sangat condong menjawab “ya”. Daya bedanya lebih baik, tetapi ambangnya jauh dari tepat. Menggeser ambang itu mudah, jadi kinerja AI masih bisa naik banyak.
2. Percobaan belajar. Persen benar naik setelah latihan. Apakah persepsi membaik? Belum tentu. Kenaikan bisa datang dari daya beda yang naik, atau dari ambang yang makin tepat. Untuk percobaan belajar, selalu gambarkan d′ dan bias.
3. Sensitivitas dan spesifisitas tes medis. Keduanya juga bergantung pada ambang, misalnya kadar antibodi berapa yang disebut “positif”. Sensitivitas bisa dinaikkan dengan mengorbankan spesifisitas, dan sebaliknya. (Sensitivitas + spesifisitas)/2 adalah persen benar.
4. Tukar-menukar kecepatan dan ketepatan (speed-accuracy trade-off). Peserta yang lambat, misalnya orang tua, sering punya d′ lebih tinggi daripada peserta yang cepat. Percobaan seperti ini sulit ditafsirkan karena waktu reaksi harus ditimbang bersama d′ dan bias.
5. Efek lantai dan efek atap (floor and ceiling effects). Bila tugasnya terlalu mudah, semua orang 100% benar dan perbedaan antar orang tidak terlihat. Bila terlalu sulit, semua orang di sekitar 50%. Dalam kedua keadaan, kesimpulan tidak bisa ditarik.
6. Efek terstandar. Karena dibagi σ, d′ tidak bergantung pada satuan. Hasilnya sama baik data diukur dalam meter maupun inci.

Tugas Bab 2

Dari d′ ke Cohen's d

Di Bab 2, d′ adalah jarak dua rata-rata dibagi simpangan baku. Dalam statistik, d′ untuk populasi diberi nama lain: Cohen's δ (delta) atau ukuran efek (effect size).

Biasanya kita tidak tahu angka populasi. Kita hanya punya sampel. Dari sampel kita menaksir δ dengan Cohen's d:

Patokan di psikologi: d sekitar 0,2 disebut kecil, 0,5 sedang, 0,8 besar. Bahkan pada efek “besar”, kedua distribusi masih banyak bertumpang tindih. Artinya, dari satu pengukuran saja kita sulit menebak asalnya. Yang masih bisa dibedakan adalah rata-rata dari banyak pengukuran. Itulah yang dikerjakan uji t.

Rumus dasar dan padanan istilah

Misalkan kita punya n skor dari satu sampel.

Karena konsep yang sama dikembangkan di banyak bidang, satu hal punya banyak nama. Hafalkan padanan ini; seluruh buku memakainya.

Masalahnya: sampel terlalu sedikit

Kita ingin tahu apakah rata-rata tinggi pohon ek di lereng Utara pegunungan Alpen berbeda dari lereng Selatan. Cara paling lurus adalah mengukur semua pohon di kedua lereng, lalu membandingkan. Kalau berbeda, ya berbeda.

Pohonnya terlalu banyak. Kita hanya sanggup mengukur n pohon dari tiap lereng, dipilih secara acak. Kumpulan pohon yang diukur disebut sampel, tinggi tiap pohon disebut skor, dan n disebut ukuran sampel.

Rata-rata sampel hampir pasti tidak sama dengan rata-rata semua pohon. Mungkin kebetulan kita memilih lebih banyak pohon tinggi. Selisih ini disebut galat sampling. Sebabnya adalah kita mengukur lebih sedikit dari semua pohon. Buku menyebut keadaan ini undersampling.

Akibatnya, dua rata-rata sampel bisa berbeda walau kedua populasi sebenarnya sama. Bila kita lalu menyimpulkan “ada beda”, kita membuat alarm palsu. Dalam statistik ini disebut galat Tipe I.

Seberapa jauh rata-rata sampel bisa meleset

Bayangkan kita pergi ke hutan berkali-kali, dan tiap kali mengukur 2 pohon Utara. Rata-rata sebenarnya 20 m. Suatu kali kita mendapat pohon 18,5 m dan 19,5 m, rata-ratanya 19 m. Meleset 1 m. Kali berikutnya melesetnya lain lagi.

Bila semua rata-rata sampel itu dikumpulkan, bentuknya kurva lonceng yang berpusat di 20 m. Kurva ini disebut distribusi sampling. Untuk sampel 2 pohon kurvanya lebar: meleset 2 m tidak aneh. Untuk sampel 9 pohon kurvanya jauh lebih sempit: meleset 2 m sudah jarang terjadi.

Lebar distribusi sampling adalah galat baku:

• Makin besar n, makin kecil galat baku. Bila semua pohon diukur, galatnya nol.
• Makin besar σ, makin banyak pohon yang harus diukur. Bila σ = 0, semua pohon sama tinggi dan satu pohon sudah cukup.

Membandingkan dua rata-rata: nilai t

Sekarang kita punya satu sampel Utara dan satu sampel Selatan, masing-masing n pohon. Kita hitung selisih rata-ratanya. Selisih itu juga punya distribusi sampling, dengan galat baku:

Pertanyaannya persis seperti di kapal selam. Ada dua kemungkinan:

• Derau saja. Kedua populasi sama. Selisih yang terlihat hanya akibat sampel yang sedikit. Distribusinya berpusat di 0.
• Sinyal + derau. Kedua populasi memang berbeda. Distribusinya berpusat di selisih yang sebenarnya.

Daya beda untuk dua kemungkinan ini disebut nilai t:

Jadi nilai t tidak lain adalah d′ untuk rata-rata. Bedanya, pembaginya adalah galat baku, bukan simpangan baku. Rumus di kanan menunjukkan hal terpenting bab ini: t adalah ukuran efek d dikalikan akar dari setengah ukuran sampel. Nilai t yang besar bisa muncul karena d besar, karena n besar, atau keduanya.

Dua jenis kesalahan

Anggapan bahwa kedua populasi sama disebut hipotesis nol (H0). Anggapan bahwa keduanya berbeda disebut hipotesis alternatif (H1).

Cara memutuskan: hitung t, lalu bandingkan dengan sebuah ambang. Bila t lebih besar dari ambang, kita simpulkan ada beda. Bila lebih kecil, kita tidak menyimpulkan apa-apa. Mungkin ada beda, mungkin tidak.

Tiap bidang memakai ambang berbeda. Fisika sering memakai “aturan 5σ” (t harus di atas 5), karena fisikawan bisa menekan derau dan punya sampel sangat banyak. Kedokteran, psikologi, dan biologi memakai kira-kira “aturan 2σ”, karena gejalanya memang berderau, bedanya kecil, dan sampelnya mahal. Ambang yang lebih ketat mengurangi alarm palsu, tetapi juga mengurangi Hit.

Mengapa alarm palsu yang dijaga? Karena alarm palsu membuat orang percaya ada efek padahal tidak ada. Misalnya obat disimpulkan menolong padahal tidak, sehingga obat lain tidak dipakai. Sikap dasar ilmuwan adalah ragu: anggap tidak ada efek sampai data menunjukkan sebaliknya.

Nilai p

Bayangkan distribusi sampling bila H0 benar. Pusatnya di 0. Misalkan ambang kita t = 2,0. Peluang kebetulan mendapat t di atas 2,0 padahal H0 benar adalah luas daerah di bawah kurva di sebelah kanan 2,0. Untuk sampel besar luasnya 0,0228. Ini uji satu ekor.

Bila kita tidak tahu arah bedanya, kita pakai dua ambang: +2,0 dan −2,0. Luas kedua ekor adalah 0,0456. Ini uji dua ekor.

Dalam praktik urutannya dibalik. Kita tetapkan dulu galat Tipe I yang bisa diterima, biasanya 5%. Untuk uji dua ekor dan sampel besar, ambangnya menjadi ±1,96. Dari sinilah “aturan 2σ” berasal.

Lalu, alih-alih membandingkan t dengan ambang, orang menghitung luas ekor di luar nilai t yang diperoleh dari data. Luas itu disebut nilai p.

Nilai t bisa dihitung dengan tangan. Nilai p dihitung oleh program statistik. Untuk sampel kecil ambangnya lebih besar dari 1,96, dan program sudah menyesuaikannya.

Galat Tipe II dan daya uji

Dengan menetapkan ambang, kita juga menentukan Hit, luput, dan penolakan benar. Galat Tipe I 5% otomatis berarti penolakan benar 95%.

Galat Tipe II tidak semudah itu dihitung. Sebabnya: H0 hanya satu, yaitu “selisih = 0”. Hipotesis alternatif tak terhingga banyaknya, karena selisih bisa bernilai berapa saja. Untuk menghitung galat Tipe II kita harus memilih satu ukuran efek tertentu. Misalnya: “kami hanya peduli bila pohon Utara lebih tinggi minimal 1,2 m”. Dengan itu baru kita bisa bertanya berapa n yang dibutuhkan agar hasilnya signifikan pada 80% percobaan.

Daya uji (power) adalah peluang memperoleh hasil signifikan bila efeknya memang ada. Daya uji = Hit rate = 1 − galat Tipe II. Bab 7 membahasnya lebih jauh.

Contoh hitung lengkap: lima pohon Utara, lima pohon Selatan

1. Varians gabungan: (3,995 × 4 + 3,996 × 4) / (4 + 4) = 3,996.
2. Galat baku selisih: √(3,996 × (1/5 + 1/5)) = 1,264.
3. Nilai t: (18,00 − 15,00) / 1,264 = 2,373.
4. Derajat bebas (df): 4 + 4 = 8.
5. Program statistik memberi p = 0,045. Karena di bawah 0,05, beda tinggi pohon Utara dan Selatan signifikan.
6. Ukuran efek: d = 3,00 / √3,996 = 1,5, tergolong besar.

Derajat bebas diperlukan karena pada sampel kecil bentuk distribusi sampling sedikit berbeda dari kurva lonceng. Untuk df = 8, ambang dua ekornya ±2,306, lebih besar dari 1,96.

Yang terpenting: nilai p ditentukan sepenuhnya oleh t, dan t = d × √(n/2). Jadi nilai p mencampur ukuran efek dan ukuran sampel. Nilai p adalah informasi sebagian. Sekarang nilai p sering disangka ukuran besar efek. Itu keliru. Laporkan dan baca d dan n.

Implikasi 1: ukuran sampel

• 1a. Selama d bukan nol, selalu ada n yang membuat uji t signifikan. Jadi efek yang sangat kecil pun bisa signifikan bila sampelnya cukup besar.
• 1b. Hasil bisa tidak signifikan pada sampel kecil dan signifikan pada sampel lebih besar. Itu tidak berarti “tidak ada efek pada sampel kecil”. Artinya hanya: bukti pada sampel kecil belum cukup.
• 1c. Pertanyaan menggelitik dari buku: bukankah dua keadaan hampir selalu berbeda, walau sangat sedikit? Mustahil rata-rata pohon Utara dan Selatan sama-sama tepat 20,2567891119 m. Kalau begitu, dengan n yang cukup besar semua eksperimen akan signifikan. Lalu untuk apa bereksperimen? Pertanyaan ini dijawab di Bagian III.

Implikasi 2: ukuran efek

• 2a. Efek kecil bisa signifikan. Menurut satu studi, minyak ikan memperpanjang hidup secara signifikan. Tetapi bisa saja hanya 2 menit. Apakah itu penting bagi Anda?
• 2b. Nilai p tidak memberi tahu besar efek. Bila n naik, p turun walau d sama.
• 2c. Dua eksperimen bisa punya p yang persis sama, padahal yang satu efeknya besar dengan sampel kecil dan yang lain sebaliknya. Jangan bandingkan nilai p dua eksperimen bila n-nya berbeda.
• 2d. Pada nilai p yang sama, studi dengan sampel lebih kecil punya taksiran ukuran efek lebih besar.
• 2e. H0 hanya satu titik, yaitu selisih = 0. Semua nilai lain termasuk H1. Saat menjaga galat Tipe I, kita menjaga satu titik di antara tak terhingga titik.

Implikasi 3: hasil yang tidak signifikan

• 3a. Tidak ada bukti bukan berarti bukti tidak ada. Hasil tidak signifikan bisa berarti memang tidak ada beda, atau ada beda yang terlalu kecil untuk tertangkap pada n itu. Kita tidak boleh menyimpulkan “tidak ada efek”.
• 3b. Beda signifikansi bukan beda yang signifikan. Contoh krim Aloe Vera: setelah 4 minggu eksim berkurang secara signifikan pada kelompok krim, tetapi tidak signifikan pada kelompok plasebo. Menggoda untuk menyimpulkan Aloe Vera menyembuhkan eksim. Padahal kelompok plasebo juga membaik, hanya lebih sedikit, mungkin karena sembuh sendiri. Uji yang benar adalah membandingkan langsung besar perbaikan di kedua kelompok. Dalam contoh buku, hasilnya tidak signifikan.

Kalimat “ada efek pada kondisi A tetapi tidak pada kondisi B” sangat sering muncul di artikel ilmiah. Perlakukan dengan hati-hati.

Implikasi 4: derau atau perbedaan antar orang?

Mengapa kita menghitung statistik? Sering dianggap statistik “membersihkan” derau. Pada kapal selam, tiap pengukuran adalah sinyal sebenarnya ditambah derau acak:

Merata-ratakan banyak pengukuran membuang derau itu. Model ini cocok untuk fisika. Di biologi dan kedokteran keadaannya lain. Obat sakit kepala menolong rata-rata orang, tetapi ada orang yang sangat tertolong, ada yang tidak tertolong, dan ada yang malah makin sakit. Perbedaan antar orang ini tetap, bukan acak:

• μ: efek rata-rata pada seluruh populasi.
• v_i: seberapa berbeda orang ke-i dari rata-rata. Ini perbedaan yang menetap pada orang itu.
• ε_ij: derau pengukuran, yang berubah dari hari ke hari pada orang yang sama.

Dalam banyak eksperimen v dan ε tidak bisa dipisahkan. Keduanya masuk ke dalam s. Secara hitungan tidak ada bedanya, tetapi untuk tafsiran bedanya besar:

• 4a. Bila obat sangat menolong separuh populasi dan sedikit merugikan separuh lainnya, rata-ratanya positif dan bisa signifikan. Namun bagi separuh orang obat itu merugikan. Hasil signifikan tidak mengizinkan kesimpulan untuk tiap orang. Studi bisa menunjukkan wortel baik untuk mata secara rata-rata; apakah baik untuk mata Anda, tidak jelas.
• 4b. Pernyataan seperti “X benar” hanya pasti berlaku untuk semua bila perbedaan antar individu nol.
• 4c. Sampel yang tidak seragam bisa menyesatkan. Dari data kunjungan dokter, mahasiswa yang lebih pendek tampak lebih sering sakit. Sebabnya bukan tinggi badan. Mahasiswi rata-rata lebih pendek dan lebih sering ke dokter kandungan untuk pemeriksaan pencegahan.
• 4d. Saat merancang, kita harus memilih siapa yang diikutkan. Sampel dari seluruh populasi lebih mewakili tetapi sangat beragam. Makin banyak kelompok yang dikeluarkan, makin seragam sampelnya tetapi makin tidak mewakili.
• 4e. Efek sering bergantung pada dosis, dan tiap orang bisa menanggapi dosis secara berbeda. Efek yang bergantung pada dosis lebih cocok dianalisis dengan korelasi (Bab 8).

Implikasi 5: paradoks statistik dan bahaya studi kohort

Untuk efek yang sangat besar, statistik tidak diperlukan. Gajah lebih besar dari semut tanpa perlu uji. Statistik dikembangkan untuk efek sedang dengan sampel sedang. Dulu data sulit didapat, sehingga hanya efek besar yang bisa signifikan. Sekarang data murah dan sampel bisa jutaan, sehingga statistik dipakai juga untuk efek yang sangat kecil. Ini berbahaya.

Contoh Framingham. Sejak 1948 tekanan darah 5.209 warga kota Framingham diukur. Orang yang lebih lama bersekolah punya tekanan darah sedikit lebih rendah, dan bedanya signifikan. Apakah sekolah menurunkan tekanan darah? Kemungkinan besar tidak. Mungkin mereka lebih sedikit merokok, makan berbeda, lebih sering berolahraga, bekerja di lingkungan lain, atau berbeda secara genetik. Terlalu banyak faktor yang berperan dan tidak bisa dikendalikan.

Bedanya pun hanya sekitar 2 mmHg. Ukur tekanan darah Anda, lalu ulangi 5 menit kemudian. Perubahannya lebih besar dari itu.

Studi seperti ini disebut studi kohort: kelompok dibandingkan menurut label yang sudah ada (pasien dan bukan pasien, vegetarian dan pemakan daging), bukan dibagi secara acak.

• 5b. Efek kecil tidak selalu tidak penting. Mengurangi efek samping obat yang diminum jutaan orang sebesar 1% tetap berguna. Banyak penemuan penting berawal dari efek kecil yang kemudian diperbesar dengan metode yang lebih baik.
• 5c. Sampel kecil bermasalah karena galat sampling. Sampel sangat besar juga bermasalah bila efeknya kecil, karena selisih sekecil apa pun menjadi signifikan, termasuk yang datang dari faktor lain yang tidak berkaitan. Studi kohort dengan efek kecil dan sampel besar sering tidak berguna.

Cara membaca hasil statistik

1. Lihat dulu apakah n cukup besar. Makin besar n, makin stabil taksiran efeknya.
2. Lalu lihat ukuran efeknya. Apakah cukup besar untuk pertanyaan yang diajukan? Efek yang sangat kecil hanya kadang penting, dan bisa berasal dari faktor pengganggu yang tidak dikenali.

Tugas Bab 3

Beberapa istilah

Jenis studi.

• Studi eksperimental: peserta dibagi secara acak ke dalam kelompok. Misalnya pasien diundi untuk mendapat obat atau plasebo.
• Studi kohort: kelompok ditentukan oleh label yang sudah ada, misalnya pasien dan bukan pasien, atau vegetarian dan pemakan daging. Studi ini umum dan berguna, tetapi punya masalah berat seperti dibahas di Bab 3, Implikasi 5a.

Jenis variabel. Pada grafik, sumbu x biasanya variabel bebas dan sumbu y variabel terikat. Ada empat skala ukur:

Jenis uji. Uji parametrik mengandaikan bentuk distribusi data tertentu, misalnya kurva lonceng. Uji non-parametrik tidak mengandaikan bentuk distribusi apa pun.

Lima langkah uji hipotesis nol

1. Nyatakan hipotesis alternatif (H1). Contoh: terapi A berbeda dari terapi B.
2. Anggap hipotesis nol (H0) benar: tidak ada beda antara A dan B.
3. Dari data, hitung galat baku selisih: s × √(2/n).
4. Hitung nilai t, yaitu selisih rata-rata dibagi galat baku, lalu nilai p-nya.
5. Putuskan. Bila p ≤ 0,05, tolak H0 dan sebut efeknya signifikan. Bila p > 0,05, kita tidak bisa menyatakan apa-apa. Jangan menyimpulkan H0 benar.

Cara ini membatasi alarm palsu. Bila H0 benar dan eksperimen diulang berkali-kali, p di bawah 0,05 hanya akan muncul pada 5% ulangan. Kita bisa lebih ketat, misalnya p < 0,01. Harganya: makin ketat, makin banyak efek nyata yang luput.

Tiga macam uji t

Uji berpasangan juga disebut repeated measures t-test, paired t-test, atau within-subjects t-test.

Satu ekor atau dua ekor

Uji dua ekor bertanya “apakah A berbeda dari B”, tanpa menyebut arah. Uji satu ekor bertanya “apakah A lebih baik dari B”. Pada uji satu ekor hanya ada satu ambang, sehingga ambangnya lebih rendah dan daya ujinya lebih tinggi.

Tetapi uji satu ekor diperdebatkan. Aturannya:

• Pilihan harus didasarkan pada alasan teoretis, bukan pada data atau hasilnya.
• Tidak boleh beralih ke uji satu ekor setelah uji dua ekor gagal.
• Tidak boleh memilih uji satu ekor hanya karena terlihat satu rata-rata lebih besar.

Lima syarat uji t

Tujuan utama uji t adalah menjaga galat Tipe I. Bila syarat di bawah ini dilanggar, galat Tipe I hampir selalu berubah, kadang sedikit, kadang banyak.

1. Data saling bebas dan berasal dari distribusi yang sama (independent and identically distributed, IID). Tiap orang hanya ikut satu kali. Contoh pelanggaran: mengukur ketajaman mata di 8 titik pada 3 pasien memberi 24 angka, tetapi angka dari pasien yang sama tidak saling bebas. Rata-ratakan per pasien; ukuran sampelnya 3, bukan 24. Contoh lain: tinggi pohon ek dan bunga edelweiss tidak boleh dicampur dalam satu sampel.
2. Populasi berdistribusi lonceng, atau sampelnya besar (n = 30 sering sudah cukup). Uji t cukup tahan terhadap pelanggaran ini. Selama distribusinya berpuncak satu, kemencengan yang besar pun hanya sedikit mengubah galat Tipe I.
3. Variabel terikat berskala rasio. Rata-rata tidak bermakna untuk data nominal, dan simpangan baku tidak bermakna untuk data nominal maupun ordinal. Untuk skala interval pendapat terbelah; dalam banyak kasus uji t masih berperilaku wajar.
4. Varians kedua populasi sama. Lihat tabel di bawah.
5. Ukuran sampel ditetapkan sebelum eksperimen dan tidak diubah di tengah jalan. Syarat ini lebih sulit dipenuhi daripada kelihatannya (lihat Bab 10 tentang optional stopping).

Tabel 4.1 di buku menunjukkan galat Tipe I dari 10.000 uji t simulasi ketika H0 benar. Yang seharusnya 0,05:

Baris terakhir adalah yang berbahaya: alarm palsu hampir 40%, delapan kali dari yang diinginkan. Sebabnya, uji t biasa menggabungkan simpangan baku kedua sampel menjadi satu taksiran. Di baris terakhir taksiran itu terlalu kecil. Jalan keluarnya adalah uji Welch. Harganya: bila varians sebenarnya sama, daya uji Welch lebih rendah daripada uji t biasa.

Uji non-parametrik

Bila data tidak berdistribusi lonceng, uji non-parametrik bisa dipertimbangkan. Uji ini tidak bisa memanfaatkan model distribusi, sehingga daya ujinya lebih rendah dan biasanya butuh sampel lebih besar. Hitungannya tampak lain, tetapi prinsipnya sama dengan SDT.

Pola yang sama pada semua uji

Pada uji t urutannya begini: ada pertanyaan (beda rata-rata), lalu model statistik (tinggi pohon berdistribusi lonceng), lalu dari model itu diturunkan statistik uji (nilai t), lalu nilai p untuk menjaga galat Tipe I.

Pola ini berlaku untuk pertanyaan lain: apakah dua varians berbeda, apakah bentuk dua distribusi berbeda (uji χ²), dan seterusnya. Yang berbeda hanya modelnya. Cara menghitung tiap statistik uji tidak terlalu penting karena dikerjakan komputer. Yang penting diingat: pada semua uji parametrik, nilai p mencampur ukuran efek dan ukuran sampel.

Rancangan sebaiknya dibuat sesederhana mungkin agar cukup dengan uji t. Bila ada lebih dari dua kelompok, muncul masalah uji berulang, yang dibahas di Bagian II. Pembaca yang tidak memerlukan uji-uji khusus di Bagian II boleh langsung ke Bagian III.

Tugas Bab 4

Uji yang saling bebas

Satu uji t punya peluang alarm palsu 0,05 bila H0 benar. Dengan kata lain, peluang tidak membuat alarm palsu adalah 0,95.

• Dua uji: peluang tidak ada alarm palsu sama sekali = 0,95 × 0,95 = 0,90. Jadi peluang minimal satu alarm palsu = 0,10.
• Dua belas uji: 0,95¹² = 0,54. Peluang minimal satu alarm palsu = 0,46.

Makin banyak perbandingan, makin besar peluang ada alarm palsu. Inilah masalah uji berulang (multiple testing problem).

Koreksi Bonferroni

Cara klasik mengatasinya adalah memperketat ambang tiap uji. Agar peluang alarm palsu untuk seluruh m uji tetap 0,05, tiap uji harus memenuhi:

Harganya adalah daya uji. Seperti di SDT, ambang yang lebih ketat selalu mengurangi alarm palsu dan Hit. Dengan koreksi Bonferroni, daya uji turun banyak. Karena itu buku menyebutnya cara yang kurang ideal.

Kapan koreksi diperlukan? Para ahli statistik tidak sepakat. Yang jelas, m bukan jumlah semua uji sepanjang karier. Bila uji-uji itu menyangkut topik yang sangat berbeda, tiap topik wajar punya galat Tipe I sendiri dan koreksi tidak perlu.

Variasi yang sering terjadi. Anda menguji satu hipotesis dan hasilnya tidak signifikan, misalnya tidak ada beda daya ingat antara pria dan wanita. Lalu Anda menguji hal lain pada data yang sama: wanita muda lawan wanita tua, pria muda lawan pria tua. Tiap uji tambahan membawa risiko alarm palsu dan perlu dikoreksi. Mengajukan terlalu banyak pertanyaan pada satu sampel itu bermasalah.

Uji yang tidak saling bebas

Rumus di atas berlaku bila semua uji saling bebas. Bila satu set data dipakai untuk menjawab banyak pertanyaan, uji-ujinya tidak saling bebas karena datanya dipakai berulang. Koreksi Bonferroni masih bisa menahan galat Tipe I, tetapi mungkin terlalu ketat.

Apakah data saling berkaitan atau tidak biasanya tidak diketahui. Ini satu alasan lagi untuk tidak mengajukan lebih dari satu pertanyaan pada satu sampel.

Berapa banyak hasil ilmiah yang salah?

Galat Tipe I biasanya 5%. Apakah berarti 5% dari semua hasil ilmiah salah? Tidak.

Itu hanya benar bila semua eksperimen menguji efek yang sebenarnya nol. Padahal ilmuwan biasanya mengejar efek yang nyata. Bila semua eksperimen menguji efek yang memang ada, tidak ada galat Tipe I sama sekali, karena H0 salah di semua eksperimen.

Jadi jumlah hasil yang salah bergantung pada seberapa sering “tidak ada efek” itu terjadi. Ini sama dengan angka kejadian di Bab 1. Angka itu tidak diketahui, sehingga kita tidak tahu berapa banyak hasil yang merupakan alarm palsu atau luput.

Tugas Bab 5

Mengapa perlu ANOVA

Kita ingin tahu pengaruh lokasi terhadap tinggi pohon. Sampel diambil dari tiga wilayah: dekat khatulistiwa, lintang 49, dan lintang 60. Uji t hanya bisa untuk dua kelompok. Kita bisa melakukan tiga uji t untuk semua pasangan, tetapi itu memunculkan masalah uji berulang dari Bab 5.

Analisis varians (ANOVA) memakai satu akal untuk menghindarinya: semua hipotesis alternatif digabung menjadi satu.

• H0: ketiga rata-rata sama.
• H1: minimal satu rata-rata berbeda dari yang lain.

Logika ANOVA

ANOVA mengandaikan semua kelompok punya varians yang sama. Varians itu ditaksir dengan dua cara:

• Dari dalam kelompok. Seberapa tersebar data di sekitar rata-rata kelompoknya masing-masing. Taksiran ini selalu dekat dengan nilai sebenarnya. Ini deraunya.
• Dari antar kelompok. Seberapa tersebar rata-rata kelompok di sekitar rata-rata keseluruhan (grand mean). Bila H0 benar, taksiran ini juga dekat dengan nilai sebenarnya. Bila rata-rata kelompok memang berbeda, taksiran ini menjadi terlalu besar.

• Bila H0 benar, kedua taksiran mirip dan F mendekati 1.
• Bila kelompok memang berbeda, F besar.

Seperti pada uji t, ada ambang untuk F agar galat Tipe I tetap 5%. Bila F melewati ambang, kita simpulkan ada beda yang signifikan.

Derajat bebasnya ada dua: df₁ = k − 1 dan df₂ = n − k, dengan k jumlah kelompok dan n jumlah seluruh skor. Untuk dua kelompok, ANOVA sama dengan uji t dua ekor: F = t² dan nilai p-nya sama. Jadi ANOVA adalah perluasan uji t.

Yang dikatakan dan tidak dikatakan ANOVA

ANOVA yang signifikan hanya berkata: “minimal satu rata-rata berbeda”. Ia tidak berkata yang mana. Itulah harga dari menggabungkan semua hipotesis alternatif.

Untuk mencari yang mana, dipakai uji lanjutan (post-hoc test), yang pada dasarnya membandingkan pasangan-pasangan rata-rata. Uji lanjutan hanya dilakukan bila ANOVA menemukan efek. Yang sering dipakai: Scheffé, Tukey, dan REGW-Q.

Syarat ANOVA

1. Sampel saling bebas.
2. Populasi berdistribusi lonceng.
3. Variabel bebas berupa kategori; variabel terikat berupa angka kontinu.
4. Semua kelompok punya varians yang sama.
5. Ukuran sampel ditetapkan sebelum eksperimen.

Contoh hitung: turnamen tiga jenis pedang

Lima belas petarung dibagi ke tiga jenis pedang, lima orang tiap jenis. Yang dicatat adalah jumlah kemenangan.

1. Dalam kelompok. SS_within = 20 + 14 + 12 = 46. Derajat bebas = 15 − 3 = 12. MS_within = 46/12 = 3,83.
2. Rata-rata keseluruhan. Jumlah semua skor 60, dibagi 15 = 4.
3. Antar kelompok. SS_between = 5 × (5 − 4)² + 5 × (6 − 4)² + 5 × (1 − 4)² = 5 + 20 + 45 = 70. Derajat bebas = 3 − 1 = 2. MS_between = 70/2 = 35.
4. Nilai F. 35/3,83 = 9,14. Program statistik memberi p = 0,0039.

SS berarti jumlah kuadrat (sum of squares) dan MS berarti kuadrat rata-rata (mean square), yaitu SS dibagi derajat bebasnya. F = 9,14 berarti sebaran rata-rata kelompok 9 kali lebih besar daripada sebaran data di dalam kelompok. Hasil ini ditulis: F(2, 12) = 9,14, p = 0,0039. Kesimpulannya: minimal satu jenis pedang memberi jumlah kemenangan yang berbeda.

Uji lanjutan Scheffé. Tiap pasangan dibandingkan dengan ANOVA kecil, tetapi tetap memakai MS_within = 3,83 dan df dari ANOVA utama.

Jadi belati elf berbeda dari dua pedang lainnya, sedangkan light saber dan katana tidak terbukti berbeda.

Ukuran efek η²

Seperti pada uji t, nilai p ANOVA mencampur ukuran efek dan ukuran sampel. Ukuran efek ANOVA adalah η² (eta kuadrat): bagian dari seluruh keragaman data yang dijelaskan oleh perbedaan kelompok.

Artinya 60% keragaman jumlah kemenangan dijelaskan oleh jenis pedang. Menurut patokan di buku (Tabel 6.2), 0,01 kecil, 0,09 sedang, dan 0,25 besar. Jadi ini efek besar.

ANOVA dua arah dan interaksi

Sekarang ada dua faktor. Contoh buku: sekelompok pahlawan super ingin tahu bahan kostum mana yang terbaik untuk menangkap penjahat (spandex, katun, atau kulit), dan apakah itu bergantung pada waktu (siang atau malam). Tiap kombinasi diisi lima orang yang berbeda. Yang dihitung adalah jumlah penjahat yang tertangkap.

Ada tiga hipotesis yang diuji, masing-masing dengan F sendiri:

1. Efek utama waktu. Apakah siang berbeda dari malam, bila semua bahan dirata-ratakan?
2. Efek utama bahan. Apakah ada bahan yang berbeda, bila siang dan malam dirata-ratakan?
3. Interaksi. Apakah pengaruh waktu bergantung pada bahan?

Lihat baris dan kolom rata-rata. Rata-rata tiga bahan hampir sama (9,5; 10; 10). Rata-rata siang dan malam juga hampir sama (9,7 dan 10). Seolah-olah bahan dan waktu tidak berpengaruh.

Sekarang lihat isi tabelnya. Spandex unggul pada siang hari (14 lawan 5). Kulit unggul pada malam hari (15 lawan 5). Katun selalu di tengah. Pengaruh bahan bergantung pada waktu. Itulah interaksi.

Tabel keluaran program (Tabel 6.3 di buku) menunjukkan hal yang sama: kedua efek utama tidak signifikan, interaksinya sangat signifikan.

Pelajaran dari contoh ini:

• Bila hanya dilakukan dua ANOVA satu arah yang terpisah, kita tidak akan menemukan apa-apa. Rancangan dua faktor menampakkan pola yang sebenarnya.
• Faktor kedua bisa menjelaskan sebagian keragaman yang tadinya dianggap derau, sehingga daya uji naik.
• Tetapi menambah faktor terus-menerus tidak selalu baik. Tiap rata-rata dihitung dari lebih sedikit skor, sehingga daya uji turun. Makin banyak faktor, makin besar sampel yang dibutuhkan.
• Bila interaksi signifikan, jangan menyimpulkan efek utama. Efek satu faktor berubah menurut taraf faktor lain.

ANOVA dua arah juga membawa kembali masalah uji berulang. ANOVA 2 × 2 menghasilkan tiga nilai p. Pada data yang sama sekali tanpa efek, peluang minimal satu p di bawah 0,05 adalah 14%. Bila ANOVA dipakai untuk “mencari-cari” hasil signifikan, galat Tipe I lebih tinggi dari yang disangka.

ANOVA pengukuran berulang

ANOVA yang dibahas sejauh ini adalah perluasan uji t dua sampel. Ada juga perluasan uji t berpasangan, yaitu repeated measures ANOVA. Dipakai bila orang yang sama diukur beberapa kali, misalnya kesehatan pasien sebelum, selama, dan sesudah terapi.

Daya ujinya lebih tinggi daripada ANOVA biasa. Sebabnya, perbedaan dibandingkan dulu di dalam tiap pasien, sehingga perbedaan menetap antar pasien dikeluarkan dari galat.

Tugas Bab 6

Tidak semua data harus diuji

ANOVA adalah satu cara menghadapi uji berulang. Cara yang lebih sederhana adalah menghindarinya lewat rancangan yang cerdik.

Contoh: percobaan belajar. Peserta berlatih tugas visual selama 10 blok, tiap blok 80 percobaan. Untuk tiap blok dihitung persen benar. H0: tidak ada pembelajaran, kinerja sama di semua blok.

Yang pertama terpikir adalah ANOVA pengukuran berulang dengan 10 taraf. Menurut buku ini bukan pilihan yang baik, karena tiga alasan:

1. ANOVA memperlakukan blok sebagai kategori tanpa urutan. Padahal urutan blok adalah inti dari “belajar”.
2. Bila kinerja naik selama lima blok lalu turun lagi, ANOVA tetap bisa signifikan. Itu bukan belajar.
3. Daya ujinya turun.

Pilihan yang lebih baik:

• Blok pertama lawan blok terakhir, dengan uji t berpasangan. Blok di tengah tetap perlu untuk proses belajar, tetapi tidak ikut diuji. Kekurangannya: data belajar berderau, sehingga daya ujinya rendah.
• Rata-rata dua blok pertama lawan rata-rata dua blok terakhir. Deraunya lebih kecil.
• Mencocokkan model (model fit). Untuk tiap peserta, cocokkan garis lurus y = m·x + b pada kesepuluh bloknya. Kemiringan m menyatakan seberapa cepat ia belajar. H0: m = 0. Bila ada 12 peserta, kita punya 12 nilai m, lalu dilakukan satu uji t satu sampel terhadap nol. Semua data terpakai dan hanya ada satu uji.

Cara ini luwes. Bila belajar mengikuti kurva eksponensial, cocokkan kurva eksponensial. Untuk gejala yang berulang, seperti suhu dalam sehari atau jumlah serangga dalam setahun, cocokkan fungsi sinus.

Syaratnya satu: cara analisis dipilih sebelum eksperimen dijalankan. Tidak boleh mencoba berbagai cara setelah melihat data sampai ada yang signifikan.

Pedoman umumnya: pikirkan apa pertanyaan utama eksperimen, lalu pilih variabel yang paling tepat menjawabnya. Makin sederhana rancangan dan makin sedikit variabel, makin baik.

Memperbesar peluang berhasil

Eksperimen memakan banyak tenaga. Sebelum mulai, layak diperkirakan apakah ia punya peluang berhasil, yaitu menghasilkan t yang besar. Ingat t = d × √(n/2). Ada dua jalan.

Pertama, perbesar ukuran efek δ = (μ₁ − μ₂)/σ.

• Perbesar selisih rata-rata. Pilih rangsangan atau tes yang paling tajam membedakan.
• Perkecil σ. Kalibrasi alat tiap hari. Seragamkan keadaan: uji pasien pada jam yang sama, samakan asupan kopi, pakai penguji yang sama. Batasi umur agar pengaruh penyakit tidak tercampur pengaruh usia. Tetapi ingat: makin seragam sampel, makin sempit keberlakuan hasilnya (Bab 3, Implikasi 4).

Kedua, perbesar ukuran sampel n. Dengan n yang cukup besar, efek kecil pun terdeteksi. Ini hanya masuk akal bila efek sekecil itu memang penting. Tidak ada gunanya sampel raksasa untuk efek yang remeh.

Menghitung daya uji

Walau efeknya nyata, eksperimen tidak selalu signifikan, karena sampel yang sedikit. Daya uji (power) adalah peluang eksperimen menghasilkan hasil signifikan bila efeknya memang ada. Daya uji sama dengan Hit rate.

Untuk menghitungnya kita butuh satu angka ukuran efek populasi. Dari mana? Dari studi sebelumnya tentang gejala yang sama, dari model yang meramalkan hasilnya, atau dari besar efek yang dianggap penting dalam praktik.

Setelah itu perhitungan diserahkan ke program. Buku memakai program gratis G*Power.

Menghitung ukuran sampel seperti ini adalah bagian penting dari rancangan. Sayangnya banyak ilmuwan menjalankan eksperimen tanpa analisis daya uji, karena tidak punya gambaran ukuran efek. Eksperimen seperti itu bisa saja berguna, tetapi berhasil atau tidaknya soal untung-untungan.

Buku membedakan dua jenis kerja. Kerja eksploratif mencari-cari tanpa perkiraan ukuran efek. Kerja konfirmatif hampir selalu dibangun di atas pengetahuan tentang ukuran efek, yang dipakai untuk merancang eksperimen berdaya uji tinggi. Banyak ilmuwan mengira sedang melakukan kerja konfirmatif padahal eksploratif.

Daya uji pada rancangan yang rumit

Daya uji yang dihitung sebelum data diambil disebut a priori. Daya uji juga bisa dihitung sesudahnya dari ukuran efek yang diperoleh; ini disebut post hoc. Untuk satu uji t, daya uji post hoc tidak memberi informasi baru: bila p = 0,05 daya ujinya kira-kira 0,5; bila p di atas 0,05 daya ujinya di bawah 0,5; bila p di bawah 0,05 daya ujinya di atas 0,5.

Daya uji post hoc baru berguna bila sebuah klaim bertumpu pada banyak uji sekaligus. Caranya dengan simulasi: buat ribuan set data tiruan sesuai rancangan dan ukuran sampel, analisis semuanya dengan cara yang sama, lalu hitung seberapa sering semua hasil yang dibutuhkan muncul bersama. Buku menyebutnya peluang sukses.

Bisakah diperbaiki dengan menambah sampel? Hanya sebagian. Untuk empat uji yang harus signifikan, peluangnya naik bersama n. Untuk dua uji yang harus tidak signifikan, peluangnya justru turun, karena dengan sampel besar efek kecil pun menjadi signifikan. Peluang sukses keseluruhan paling tinggi hanya 0,37, pada sekitar 20 orang per kelompok.

Buku juga mencatat dua kesalahan tafsir dalam studi itu. Uji kedua dan ketiga dipakai untuk menunjukkan beda antara kelompok hidung dan mulut; itu “beda signifikansi”, bukan beda yang signifikan (Bab 3, Implikasi 3b). Uji keempat yang tidak signifikan ditafsirkan sebagai “tidak ada beda” (Implikasi 3a).

Kesimpulannya: makin banyak syarat yang harus dipenuhi satu set data, makin kecil peluang semuanya terpenuhi. Rancangan sederhana lebih baik.

Tugas Bab 7

Mengapa korelasi

Di Bab 3 tinggi pohon dibandingkan di 2 lokasi, dan di Bab 6 di 3 lokasi. Cara yang lebih baik adalah mengukur pohon di banyak lintang. ANOVA tidak cocok untuk itu, karena ANOVA memperlakukan lokasi sebagai kategori tanpa urutan. Padahal lintang adalah angka berskala rasio. Korelasi memakai informasi itu dan merangkum hubungan menjadi satu angka, r.

Kovarians dan korelasi

Bayangkan grafik dengan lintang di sumbu x dan tinggi pohon di sumbu y. Tiap titik adalah satu pohon.

• Bila semua titik jatuh pada garis lurus yang menurun, korelasinya negatif sempurna (r = −1).
• Bila titik-titik membentuk awan tanpa arah, tidak ada korelasi (r = 0).
• Bila semua titik jatuh pada garis lurus yang menaik, korelasinya positif sempurna (r = +1).

Hubungan garis lurus ini diukur dengan kovarians:

Kovarians punya kelemahan: nilainya bergantung pada satuan. Tinggi pohon dalam sentimeter memberi kovarians lebih besar daripada dalam meter. Karena itu kovarians dibagi dengan simpangan baku x dan y. Hasilnya adalah korelasi Pearson:

Menguji korelasi

H0: korelasi di populasi nol (ρ = 0). Bila H0 benar, galat baku korelasi sampel adalah:

Contoh buku: 50 pohon dari berbagai lintang memberi r = −0,312. Keluaran programnya: t = −2,28; df = 48; p = 0,027. Karena p di bawah 0,05, korelasinya signifikan. Tanda negatif berarti pohon yang lebih tinggi ada di lintang yang lebih rendah.

Menafsirkan korelasi

Korelasi yang signifikan tidak berarti x menyebabkan y. Rumus kovarians tetap sama bila x dan y ditukar. Ada empat kemungkinan penjelasan:

1. x menyebabkan y.
2. y menyebabkan x.
3. Ada variabel ketiga z yang menyebabkan x dan y. Contoh: bukan lintang yang menentukan tinggi pohon, melainkan hal yang berkaitan dengan lintang, seperti ketersediaan air.
4. Korelasinya semu, muncul kebetulan. Contoh: selama 2000–2009, konsumsi keju per orang di Amerika Serikat berkorelasi r = 0,947 dengan jumlah orang yang meninggal terlilit seprai. Korelasi semu pasti ditemukan bila kita menelusuri data yang cukup banyak.

Tiga hal lain yang perlu diingat:

• Korelasi hanya mengukur hubungan garis lurus. Korelasi yang tidak signifikan tidak berarti tidak ada hubungan. Suhu udara naik dan turun mengikuti jam, tetapi korelasi antara jam dan suhu bisa mendekati nol.
• Selalu lihat grafiknya. Empat set data Anscombe (Anscombe's quartet) tampak sangat berbeda bila digambar, tetapi semuanya punya r = 0,816. Nilai r saja adalah informasi sebagian.
• Korelasi peka terhadap pencilan (outlier). Pada contoh buku, satu titik tambahan mengubah r dari 0,71 menjadi 0,44.

Ukuran efek

Korelasi sendiri sering dipakai sebagai ukuran efek. Kuadratnya, r², menyatakan bagian keragaman satu variabel yang dijelaskan oleh variabel lain. Ini sejenis dengan η² di Bab 6. Patokan Cohen untuk besar r tanpa memandang tanda: 0,1 kecil, 0,3 sedang, 0,5 besar.

Dibandingkan dengan cara lain

• Mencocokkan garis (Bab 7). Menguji apakah kemiringan garis bukan nol memberi hasil yang sama dengan menguji apakah korelasi bukan nol.
• ANOVA. ANOVA memperlakukan variabel bebas sebagai kategori. Korelasi memakai sifat skala rasio, sehingga daya ujinya lebih tinggi.
• Uji t setelah data dibelah dua. Kita bisa membagi 50 pohon tadi menjadi separuh lintang rendah dan separuh lintang tinggi, lalu melakukan uji t. Hasilnya t(48) = 1,68; p = 0,0996. Tidak signifikan, padahal korelasinya signifikan. Membelah data membuang informasi.

Dalam arti tertentu, korelasi adalah perluasan dari ANOVA dan uji t.

Syarat dan peringatan

1. Data saling bebas dan berasal dari distribusi yang sama.
2. Untuk tiap nilai x, nilai-nilai y berdistribusi lonceng.
3. Kedua variabel berskala interval atau rasio.
4. Ukuran sampel ditetapkan sebelum eksperimen.

Untuk data ordinal, pakai korelasi Spearman ρ, yang menghitung dari peringkat. Spearman adalah padanan non-parametrik dari Pearson.

Regresi secara singkat

Korelasi memberi tahu seberapa rapat titik-titik mengelilingi garis terbaik. Regresi memberi tahu persamaan garis itu: y = m·x + b.

Program statistik juga memberi nilai t dan p untuk kemiringan dan titik potong. Keduanya menguji H0 bahwa nilainya nol. Bila kemiringan signifikan, biasanya korelasinya juga signifikan. Bagian ini boleh dilewati; regresi tidak dipakai di bab-bab berikutnya.

Tugas Bab 8

Pembuka Bagian III

Bagian III buku menunjukkan bahwa melihat beberapa eksperimen sekaligus memberi wawasan baru. Tiap eksperimen mungkin tampak wajar bila dilihat sendiri. Tetapi gabungannya bisa menunjukkan masalah. Seberapa mungkin empat eksperimen dengan efek kecil dan sampel kecil semuanya signifikan? Sering kali sangat tidak mungkin. Data seperti itu terlalu bagus untuk benar.

Untuk sampai ke sana, kita perlu dua alat: ukuran efek terstandar (bab ini) dan daya uji (Bab 7).

Ukuran efek terstandar

Untuk uji t dua sampel, perbandingan sinyal terhadap derau adalah Cohen's d = (x̄₁ − x̄₂)/s. Selisih yang lebih besar lebih mudah dideteksi; simpangan baku yang lebih besar membuatnya lebih sulit.

Dari Bab 3 kita tahu t = d × √(n/2). Banyak artikel hanya melaporkan t dan p. Dari t dan n kita bisa menghitung balik:

Besar d tidak bergantung pada ukuran sampel, karena d menaksir satu angka tetap di populasi. Angka n dalam rumus hanya mengimbangi t yang membesar bersama n.

Pada sampel kecil, d cenderung menaksir terlalu tinggi. Koreksinya disebut Hedges' g:

Untuk hampir semua keperluan praktis, g bisa dianggap sama dengan d. Buku memperkenalkannya karena g dipakai dalam meta-analisis.

Meta-analisis

Bila eksperimen yang sama atau sangat mirip dilakukan beberapa kali, hasilnya bisa digabung untuk kesimpulan yang lebih kuat dan daya uji yang lebih tinggi. Penggabungan ini disebut meta-analisis.

Contoh buku: lima studi yang menyimpulkan bahwa memegang uang mengurangi rasa tertekan akibat dikucilkan. Semuanya memakai uji t dua sampel.

Studi dengan sampel lebih besar harus dihitung lebih berat. Caranya: tiap g diberi bobot w = 1/v_g, yaitu kebalikan variansnya. Makin besar sampel, makin kecil varians, makin besar bobot.

g* = 0,632 adalah taksiran terbaik ukuran efek dari kelima eksperimen.

Kapan boleh digabung? Bila secara teori kelima eksperimen mengukur efek yang pada dasarnya sama. Menggabungkan eksperimen yang mengukur hal yang sangat berbeda tidak bermakna.

Dari lampiran bab

• Ukuran sampel tidak sama. d = t × √((n₁ + n₂)/(n₁ × n₂)).
• Uji t satu sampel. d = (x̄ − a)/s, dengan a angka pembanding dari H0.
• Uji t berpasangan. Bila ingin ukuran efek yang setara dengan uji dua sampel, korelasi r antara dua pengukuran harus diperhitungkan: d = (t/√n) × √(2 × (1 − r)). Sayangnya kebanyakan artikel tidak melaporkan r.
• Hati-hati dengan rumus di internet. Banyak yang diam-diam mengandaikan ukuran sampel sama, atau r = 0,5 untuk uji berpasangan.
• Varians. v_d = (n₁ + n₂)/(n₁ × n₂) + d²/(2 × (n₁ + n₂)). Varians g adalah v_d dikali kuadrat faktor koreksi Hedges.

Menurut buku, gagasan ukuran efek terstandar lebih penting daripada rincian rumusnya.

Tugas Bab 9

Krisis replikasi

Di semua ilmu, keberhasilan mengulang (replikasi) dianggap ukuran tertinggi kebenaran sebuah temuan. Sayangnya banyak bidang tidak lulus ukuran ini.

• Sekelompok psikolog bernama Open Science Collaboration mengulang 97 studi dari tiga jurnal papan atas. Hanya 36% ulangan yang hasilnya sejalan dengan studi asli. Hampir tidak ada hubungan antara nilai p studi asli dan nilai p ulangannya, walau banyak ulangan memakai sampel lebih besar.
• Pada 2012, perusahaan bioteknologi Amgen melaporkan tidak bisa mengulang temuan dari 47 di antara 53 makalah penting riset kanker.

Penulis mengusulkan cara pandang lain. Daripada heran mengapa ulangan gagal, lebih mudah melihat hasil asli yang diterbitkan dan menunjukkan bahwa hasil itu memang tidak masuk akal sejak awal.

Test for Excess Success (TES)

Jalan keluarnya: eksperimen tidak seharusnya selalu berhasil, terutama bila efek dan sampelnya kecil. Serangkaian eksperimen seharusnya berhasil kira-kira sesering daya ujinya. Kita justru perlu curiga bila eksperimen terlalu sering berhasil. Pemeriksaan ini disebut Test for Excess Success, atau uji keberhasilan berlebih.

Langkahnya, dengan contoh sepuluh eksperimen precognition:

1. Gabungkan ukuran efek semua eksperimen dengan meta-analisis (Bab 9). Hasilnya g* = 0,1855.
2. Dengan g* itu, hitung daya uji tiap eksperimen (Bab 7).
3. Jumlahkan semua daya uji. Jumlah ini adalah banyaknya eksperimen yang wajarnya signifikan.
4. Hitung peluang memperoleh keberhasilan sebanyak yang dilaporkan, atau lebih.

Jumlah daya ujinya 6,27. Jadi wajarnya sekitar 6 dari 10 eksperimen yang signifikan. Yang dilaporkan: 9. Peluang memperoleh 9 atau 10 keberhasilan adalah 0,058.

Artinya, bila efeknya nyata dan sebesar yang dilaporkan, ilmuwan yang mengulang persis kesepuluh eksperimen itu hanya punya peluang sekitar 6% untuk berhasil sebanyak laporan aslinya. Sesuatu telah terjadi pada rangkaian eksperimen itu. Kita mungkin tidak pernah tahu persisnya apa, tetapi beban pembuktian ada pada peneliti yang menyajikan hasilnya.

Bystander effect. Dengan cara yang sama, ukuran efek gabungannya −0,47. Daya uji tiap eksperimen berkisar dari 0,2 sampai hampir 1, karena ada yang hanya 24 peserta dan ada yang 2.500. Jumlah daya ujinya 10,77, dan yang signifikan 10. Peluang memperoleh 10 atau lebih adalah 0,76. Rangkaian ini bisa dipercaya, karena tingkat keberhasilannya cocok dengan besar efek dan ukuran sampelnya.

Tidak ada batas yang disepakati, tetapi banyak orang mulai curiga bila peluang suksesnya di bawah 0,1.

Sumber pertama: bias publikasi

Bias publikasi (publication bias) berarti hanya hasil signifikan yang diterbitkan, sedangkan hasil tidak signifikan disimpan.

Buku mensimulasikan 20 eksperimen dengan ukuran efek sebenarnya δ = 0,3 dan sampel acak antara 15 dan 50 per kelompok.

• Bila semua 20 dilaporkan. Lima signifikan. Ukuran efek gabungan g* = 0,303, hampir tepat. Jumlah daya uji 4,2. Peluang memperoleh lima atau lebih keberhasilan adalah 0,42. Wajar.
• Bila hanya lima yang signifikan diterbitkan. Ukuran efek gabungan menjadi g* = 0,607, dua kali nilai sebenarnya. Sebabnya: eksperimen yang signifikan pasti punya t besar, jadi taksiran efeknya juga besar. Dengan efek yang ditaksir terlalu tinggi ini, jumlah daya uji kelima studi hanya 3,13, padahal kelimanya signifikan. Peluang kelimanya signifikan adalah 0,081. Di bawah 0,1, jadi mencurigakan.

Jadi bias publikasi punya dua akibat: besar efek di literatur terlalu tinggi, dan keberhasilan tampak terlalu sering.

Sumber kedua: berhenti saat hasil sudah bagus

Syarat uji t: ukuran sampel ditetapkan sebelum eksperimen (Bab 4). Dalam praktik sering tidak demikian.

Bayangkan: dengan 10 orang per kelompok, peneliti mendapat p = 0,08. Hampir signifikan. Ia menambah 10 orang lagi per kelompok dan mendapat p = 0,04. Terdengar baik: data lebih banyak, jawaban lebih jelas. Sebenarnya cara ini menaikkan galat Tipe I, karena dua hal:

1. Ada lebih dari satu uji. Tiap uji membawa peluang alarm palsu (Bab 5).
2. Lebih berat lagi: pengambilan data dihentikan begitu hasil yang diinginkan muncul. Saat data ditambah, kesimpulan bisa berubah dari tidak signifikan ke signifikan dan sebaliknya. Bila kita selalu berhenti tepat saat signifikan, prosesnya condong ke hasil signifikan.

Cara ini disebut optional stopping. Seorang peneliti yang mulai dengan 10 orang per kelompok dan menambah satu orang demi satu sampai p < 0,05 atau sampai 50 orang akan punya galat Tipe I di atas 20%.

Yang salah bukan menambah data, melainkan aturan berhentinya. Galat Tipe I berlaku untuk seluruh prosedur. Jadi optional stopping tetap bermasalah walau data pertama kebetulan langsung signifikan, selama peneliti akan menambah data seandainya tidak signifikan. Tanpa rencana pengambilan data yang pasti, galat Tipe I tidak bisa dihitung.

Dalam simulasi buku (20 eksperimen, tidak ada efek sama sekali, mulai dari 15 dan ditambah satu-satu sampai 100), empat eksperimen menjadi signifikan, padahal wajarnya satu. Ukuran efek gabungan dari semua 20 eksperimen adalah 0,052, hampir nol. Jadi, berbeda dari bias publikasi, optional stopping tidak membuat taksiran efek meleset. Yang naik adalah jumlah hasil signifikan. Bila hanya empat yang signifikan itu diterbitkan, ukuran efek gabungannya menjadi 0,4, padahal sebenarnya nol.

Keberhasilan berlebih dan klaim teori

“Berhasil” selalu diukur terhadap sebuah klaim teori.

• Seorang peneliti menjalankan sepuluh eksperimen tentang topik yang tidak berkaitan. Empat signifikan dan hanya itu yang diterbitkan. TES akan menunjukkan ada bias publikasi, tetapi itu tidak berarti banyak. Keempat eksperimen itu tidak saling berkaitan dan tidak dipakai untuk satu klaim.
• Bila empat eksperimen yang sama dipakai untuk mendukung satu teori, bias publikasi meruntuhkan klaim teori itu.

Sering kali peneliti tanpa sengaja membuat teorinya tampak terlalu bagus, karena teorinya ditentukan oleh uji mana yang signifikan dan mana yang tidak. Teori seperti itu hanya ringkasan kasar dari data, ikut mengikuti derau, dan hampir pasti tidak akan didukung penuh oleh eksperimen baru.

Satu hal lagi: TES tidak membuktikan efeknya tidak ada. TES hanya menunjukkan bahwa rangkaian eksperimen itu bukan bukti ilmiah yang meyakinkan.

Tugas Bab 10

Anda mungkin sulit mengenali bias

Inti TES sederhana: kegagalan itu perlu. Walau efeknya nyata, sesekali sampel acak tidak akan menampakkannya. Hanya melaporkan keberhasilan membuat efek tampak terlalu besar, dan bisa membuat efek yang tidak ada tampak ada.

Buku memberi satu latihan. Tiga set berisi lima eksperimen simulasi. Satu set sah: efek sebenarnya 0,8 dan kelima eksperimen dilaporkan apa adanya. Satu set dibuat dengan optional stopping tanpa efek sama sekali, lalu hanya lima yang signifikan dari dua puluh yang dilaporkan. Satu set dibuat dengan efek sangat kecil (0,1), lalu hanya lima yang signifikan dari seratus yang dilaporkan. Set mana yang sah? (Kerjakan di Tugas 11.1 sebelum membaca lanjutannya.)

Ilmuwan berpengalaman pun sulit menjawabnya. Artinya, dengan bias publikasi dan optional stopping, kita tidak bisa membedakan “tidak ada efek sama sekali” dari “efek sangat besar”.

Dua tanda cepat untuk mengenali rangkaian yang bermasalah:

• Hubungan ukuran sampel dengan ukuran efek. Pada rangkaian yang sah keduanya tidak berkaitan. Pada rangkaian bermasalah, makin besar sampel makin kecil efeknya (korelasi negatif kuat). Pada optional stopping ini mudah dipahami: sampel baru menjadi besar bila efek yang teramati kecil. Pada studi precognition korelasinya −0,89.
• Nilai p yang menumpuk sedikit di bawah 0,05. Eksperimen yang sah dengan efek nyata dan sampel memadai biasanya memberi p yang sangat kecil. Banyak p antara 0,02 dan 0,05 adalah tanda bahaya.

Seberapa luas?

Penulis memeriksa jurnal Science, salah satu jurnal paling bergengsi, yang hanya menerima sekitar 7% naskah. Dari 133 artikel psikologi dan pendidikan tahun 2005–2012, ada 18 yang memuat empat eksperimen atau lebih dan cukup informasinya untuk dihitung.

Hasilnya: 15 dari 18 artikel (83%) punya peluang sukses di bawah 0,1. Hasil mereka terlalu bagus untuk benar. Beberapa temuan itu pernah diberitakan luas dan menjadi dasar kebijakan pendidikan, amal, dan diet.

• Salah satu artikel ditulis Diederik Stapel, psikolog sosial Belanda yang terbukti memalsukan data. Datanya dibuat di lembar kerja, bukan dari eksperimen. Data palsu itu pun terlalu bagus untuk benar. Tampaknya ia meniru rupa data yang terbit, dan data yang terbit itu sendiri sering terlalu bagus untuk benar.
• Jurnal Psychological Science menunjukkan angka serupa: 36 dari 44 artikel (82%).
• Masalah yang sama terlihat pada sebagian makalah epigenetika dan ilmu saraf.

Kesimpulan penulis: ilmuwan, editor, dan penelaah papan atas belum mengenali rupa data yang baik bila sebuah penelitian memuat banyak eksperimen dan uji.

Apa yang sebenarnya terjadi: tujuh sumber

Kebanyakan ilmuwan peduli pada bidangnya dan yakin temuannya benar. Jadi persoalannya tampaknya bukan niat buruk, melainkan salah paham tentang cara kerja statistik. Bagian ini, kata penulis, bersifat dugaan.

1. Salah paham tentang replikasi. Rangkaian eksperimen yang benar berhasil sesering daya ujinya. Karena terlalu menekankan keberhasilan, orang tidak sadar bahwa eksperimen berdaya uji rendah yang selalu berhasil itu janggal.
2. Bias publikasi. Sering sulit tahu apakah eksperimen “gagal” karena metodenya cacat atau karena memang tidak ada efek. Eksperimen yang tidak menunjukkan hasil yang diharapkan mudah dianggap cacat metode, atau diberi label “studi pendahuluan”, padahal seharusnya dihitung sebagai jawaban negatif.
3. Optional stopping. Bisa terjadi juga antar eksperimen. Peneliti mendapat p = 0,07 di Eksperimen 1, lalu menjalankan Eksperimen 2 untuk memastikan. Seandainya Eksperimen 1 memberi p = 0,03, apakah Eksperimen 2 tetap dijalankan? Bila tidak, itu optional stopping.
4. HARKing (Hypothesizing After the Results are Known): menyusun hipotesis setelah hasil diketahui. Peneliti mengumpulkan banyak data, lalu merangkai cerita yang mengikat semuanya. Cerita seperti itu terlalu dekat dengan data dan ikut mengikuti derau. Temuan yang tidak cocok dianggap tidak relevan dan dibuang. Hal yang sama terjadi bila dari beberapa ukuran dipilih satu yang “berhasil”.
5. Keluwesan analisis. Tidak signifikan? Coba logaritma. Masih tidak? Buang pencilan di atas 3 simpangan baku, atau 2,5. Gabungkan beberapa ukuran dengan cara lain. Menjelajah data sah untuk studi eksploratif, tetapi menaikkan galat Tipe I pada eksperimen yang sebenarnya. Bila analisis yang signifikan ditemukan dengan cara ini, eksperimen harus diulang dengan analisis itu pada sampel baru.
6. Salah paham tentang prediksi. Banyak artikel menulis “sesuai prediksi teori, terdapat perbedaan signifikan”. Kalimat ini janggal. Walau efeknya nyata, uji tidak akan signifikan setiap kali. Teori paling jauh hanya bisa meramalkan peluang hasil signifikan, dan untuk itu teori harus menyebut ukuran efek. Tidak satu pun dari artikel yang diperiksa membahas ukuran efek yang diramalkan atau daya uji.
7. Kecerobohan dan pemeriksaan pilih-pilih. Program STATCHECK menemukan kira-kira separuh artikel psikologi memuat minimal satu angka yang tidak cocok, dan hampir 10% memuat kesalahan yang mengubah status signifikan. Lebih buruk lagi, peneliti cenderung memeriksa ulang hanya hasil yang mengecewakan. Kesalahan yang merugikan ditemukan dan diperbaiki; kesalahan yang menguntungkan lolos.

Tugas Bab 11

Haruskah semua eksperimen diterbitkan?

Usulnya: terbitkan semua hasil, signifikan atau tidak. Dengan begitu pembaca bisa menarik kesimpulan yang benar dan besar efek tidak ditaksir terlalu tinggi.

Kesulitannya:

• Bisakah peneliti membedakan eksperimen yang gagal karena cacat metode (misalnya alat rusak) dari yang gagal karena sampling acak? Bila tidak, literatur akan dipenuhi hasil yang cacat karena berbagai sebab.
• Bagaimana menafsirkan temuan yang hanya menambah sedikit data pada topik yang sudah ada? Dan temuan mana yang dimasukkan ke meta-analisis?
• Kapan sebuah bidang memutuskan data sudah cukup? Bila meta-analisis memberi p = 0,08, lalu eksperimen ditambah sampai p < 0,05, itu optional stopping pada tingkat eksperimen.

Preregistrasi

Preregistrasi berarti sebelum eksperimen dijalankan, peneliti mencatat seluruh rencananya di tempat yang tidak bisa diubah lagi: rangsangan, tugas, metode, jumlah sampel dan cara mengambilnya, pertanyaan, dan rencana analisis. Setelah itu, setiap penyimpangan dari rencana akan terlihat.

Manfaat praktisnya. Mencegah HARKing. Membuat optional stopping dan perubahan cara analisis terlihat. Bila catatannya terbuka, bias publikasi juga bisa berkurang.

Keraguan penulis. Bila peneliti setia pada rencananya dan hasilnya sesuai, apakah itu menambah keyakinan pada teorinya? Dua kasus ekstrem menunjukkan tidak.

Kebanyakan penelitian berada di antara dua ekstrem itu: campuran gagasan samar, firasat, hasil lama, dan teori. Untuk bagian yang samar, mutu rancangan tidak bisa dinilai, dan preregistrasi tidak mengubahnya. Peneliti yang merancang berdasarkan gagasan samar sebenarnya melakukan kerja eksploratif; memaksa mereka membuat prediksi tidak bermakna.

Kesimpulan penulis: menuliskan alasan di balik rancangan itu baik, untuk memeriksa diri sendiri dan agar tidak lupa. Sering kali saat menuliskannya peneliti sadar bahwa sebagian kerjanya eksploratif. Tetapi alasan itu memang seharusnya menjadi bagian dari laporan penelitian biasa. Menerbitkannya lebih dulu sebagai preregistrasi tidak memberi keuntungan tambahan.

Analisis statistik lain

Uji hipotesis sudah lama dikritik, dan sering diusulkan penggantinya. Ada yang berkata nilai p tidak bermakna. Menurut penulis itu tidak mungkin benar secara umum, karena nilai p dihitung dari informasi yang sama dengan statistik lain, yaitu perbandingan sinyal terhadap derau. Untuk uji t dua sampel dengan n yang diketahui, nilai t bisa diubah menjadi banyak statistik lain.

Yang membedakan adalah pertanyaan yang dijawab. Contoh buku: n = 250 per kelompok dan d = 0,183.

Data yang sama memberi hasil “signifikan” sekaligus “sedikit mendukung model nol”. Ini tampak bertentangan, tetapi tidak: pertanyaannya berbeda. Pilih statistik yang menjawab pertanyaan Anda.

Perhatikan juga bahwa AIC, BIC, dan Bayes Factor bisa menerima hipotesis nol. Uji hipotesis nol biasa tidak pernah bisa, karena tidak ada bukti bukan berarti bukti tidak ada.

Peran replikasi

Banyak ilmuwan menganggap replikasi sebagai hakim terakhir. Bab 9 sampai 11 menunjukkan pandangan itu terlalu sederhana bila statistik terlibat. Karena sampling acak, studi yang baik tentang efek yang nyata pun tidak selalu bisa diulang.

Anggapan tentang replikasi berasal dari ilmu fisika. Bulu dan palu jatuh sama cepat, tetapi hanya di ruang hampa. Di fisika:

• Hasil eksperimen hampir pasti (deterministik). Sumber derau dicari dan ditekan dengan cermat.
• Berhasil atau gagalnya replikasi selalu dinilai terhadap sebuah teori. Kegagalan menjadi menarik, karena menunjukkan ada yang salah pada alat atau pada teorinya.

Di psikologi, kedokteran, dan biologi keadaannya lain. Sebagian derau bisa dikurangi, tetapi sering kali keragaman adalah bagian dari gejalanya sendiri: sebagian orang menunjukkan efek, sebagian tidak (Bab 3, Implikasi 4). Bidang-bidang ini terpaksa memakai statistik, dan hasilnya kadang tidak konsisten hanya karena sampling.

Agar replikasi bisa dipakai seperti di fisika, studi harus berhasil hampir setiap kali (daya uji sangat tinggi), atau harus ada teori yang membedakan keragaman antar orang dari derau pengukuran.

Memusatkan perhatian pada mekanisme

Menurut penulis, masalah statistik begitu menyita perhatian sehingga ilmuwan mungkin kehilangan fokus pada hal yang paling mendasar: memahami mekanisme yang menghasilkan suatu gejala. Tanpa itu, kita tidak bisa meramalkan hasil baru atau yakin sebuah temuan akan muncul lagi di keadaan baru.

• Mesin MRI. Bagaimana insinyur tahu mesin MRI di Lausanne dan di West Lafayette bekerja sama, padahal lingkungannya berbeda? Bukan karena mesin-mesin lain terbukti bekerja. Mereka yakin karena memahami cara kerjanya, termasuk teori superkonduktivitas. Teori itu menyebut syarat apa yang perlu dan cukup.
• Wabah pes. Pada 1898 Paul-Louis Simond menunjukkan bahwa pes ditularkan kutu dari tikus. Mekanisme ini langsung memberi tahu apa yang harus dilakukan: kurangi tikus. Ia juga memberi tahu apa yang tidak berguna, seperti mengurung rumah yang terjangkit. Mekanisme ini tidak perlu meramalkan angka pastinya untuk bisa berguna.
• Anestesi. Obat bius isofluran bekerja sangat andal, tetapi mekanismenya tidak diketahui. Sesekali pasien terbangun di tengah operasi. Tanpa teori, kita tidak tahu apakah kegagalan itu derau atau petunjuk adanya mekanisme tersembunyi.

Menemukan mekanisme itu sulit, tetapi seharusnya menjadi tujuan jangka panjang tiap ilmuwan. Dengan memahami mekanisme, kita menemukan faktor yang tepat dan keragaman berkurang. Misalnya, bila kita tahu cara vitamin memengaruhi organ tubuh, kita bisa menjelaskan mengapa vitamin menyehatkan sebagian orang dan merugikan sebagian lain.

Kalimat penutup buku: untuk menyegarkan kembali praktik ilmiah, tujuannya adalah tidak lagi memerlukan statistik, bukan mereformasinya.

Tugas Bab 12