Nitel analizde kodlayıcılar arası uyum

Güvenirlik ile uyum aynı şey değil

Kodlayıcılar arası uyum, iki ya da daha fazla kodlayıcının aynı veri birimlerine aynı kodları ne ölçüde atadığını anlatır. Kodlayıcılar arası güvenirlik ise daha iddialı bir kavramdır: kodlama sürecinin, farklı kişiler bağımsız çalıştığında da benzer sonuçlar üretecek kadar tutarlı olduğunu göstermeyi amaçlar. Uyum bir gözlemdir; güvenirlik bu gözlemden sürecin kendisi hakkında yapılan bir çıkarımdır.

Campbell ve arkadaşları (2013), yarı yapılandırılmış görüşmelerin kodlanması üzerine çalışmalarında benzer bir ayrım yapar: kodlayıcıların birbirinden bağımsız verdiği kararların örtüşmesi ile anlaşmazlıklar tartışılıp uzlaşıya varıldıktan sonra ulaşılan uyum farklı şeylerdir. Uzlaşma analiz kalitesine katkı sağlayabilir, ancak bağımsız güvenirliğin kanıtı olarak raporlanmamalıdır.

Temel kavramlar
Kavram	Ne soruyor?	Tipik kanıt
Kodlayıcılar arası uyum	Kodlayıcılar aynı birime aynı kodu verdi mi?	Yüzde uyum, uyum tablosu
Kodlayıcılar arası güvenirlik	Uyum şans eseri beklenenin ötesinde mi ve süreç tekrarlanabilir mi?	Şansa göre düzeltilmiş katsayılar (kappa, alfa)
Uzlaşmalı uyum	Tartışmadan sonra ortak karara varıldı mı?	Anlaşmazlık toplantısı kayıtları, kod kitabı revizyonları

Nitel paradigmalarla uyumlu mu?

O'Connor ve Joffe (2020), kodlayıcılar arası güvenirliğin nitel araştırmadaki yerinin tartışmalı olduğunu ve iki tarafın da ciddi gerekçeleri bulunduğunu gösterir. Destekleyenler; ölçümün sistematikliği ve şeffaflığı artırdığını, ekip içinde kodların anlamı üzerine yapılandırılmış bir tartışmayı zorunlu kıldığını ve bulguların farklı disiplinlerden okurlara aktarılmasını kolaylaştırdığını öne sürer. Eleştirenler ise tek bir “doğru” kodlama varsayımının, anlamın bağlama ve yorumcuya bağlı olduğunu kabul eden paradigmalarla gerilim içinde olduğunu savunur. Yazarlar, uyum ölçme kararının araştırmanın amaçları ve epistemolojik konumuyla tutarlı biçimde verilmesini ve gerekçelendirilmesini önerir.

Braun ve Clarke (2019) bu tartışmada net bir konum alır. Refleksif tematik analizde kodlama, araştırmacının öznelliğini bir kaynak olarak kullanan, esnek ve zamanla gelişen bir süreçtir; ortada ulaşılması gereken tek bir doğru kodlama yoktur. Bu nedenle kodlama güvenirliği ölçümleri refleksif tematik analizin mantığına uymaz. Yazarlar tematik analizi tek bir yöntem olarak değil, kodlama güvenirliğini önemseyen, kod kitabına dayanan ve refleksif yaklaşımları içeren bir aile olarak ele alır. Hangi türde çalıştığınız, uyum ölçmenin anlamlı olup olmadığını büyük ölçüde belirler.

Kodlayıcılar arası uyum ne zaman anlamlıdır?

Uyum ölçümü, kodların önceden ya da erken bir aşamada tanımlandığı ve birden fazla kişinin aynı kod kitabını uygulaması gereken durumlarda en çok işe yarar. MacQueen ve arkadaşları (1998), ekip tabanlı nitel analizde kod kitabının yapılandırılmış biçimde geliştirilmesini ve kodlayıcıların kodları tutarlı uygulayıp uygulamadığının düzenli olarak kontrol edilmesini, kod kitabını iyileştirme sürecinin bir parçası olarak ele alır.

Kod kitabına dayalı ve ekip halinde yürütülen çalışmalar: Farklı kişilerin aynı tanımları aynı biçimde anlayıp uygulamadığını görmek gerekir.
Büyük veri setleri: Kodlama iş yükü paylaştırıldığında, farklı kodlayıcıların kararlarının birleştirilebilir olması gerekir.
Uygulamalı araştırmalar: Değerlendirme, politika ya da kurum içi raporlarda bulguların belirli bir sistematikle üretildiğini göstermek beklenebilir.
Sonraki nicel adımlar: Kod sıklıkları gruplar arasında karşılaştırılacak ya da istatistiksel analize aktarılacaksa, kodlamanın tutarlılığı sonuçları doğrudan etkiler.

Tek araştırmacının yürüttüğü, yorumlayıcı derinliği hedefleyen ya da refleksif yaklaşım benimseyen çalışmalarda ise uyum ölçümü genellikle beklenmez. Karar ne olursa olsun, gerekçesini yöntem bölümünde açıkça yazmak okurun çalışmanızı doğru ölçütlerle değerlendirmesini sağlar.

Birimlendirme sorunu: neyi karşılaştırıyoruz?

Uyum hesaplamak için iki kodlayıcının aynı birimler üzerinde karar vermiş olması gerekir. Açık uçlu anket yanıtları gibi doğal olarak bölünmüş verilerde bu kolaydır. Yarı yapılandırılmış görüşmelerde ise metin kendiliğinden birimlere ayrılmaz: bir kodlayıcı üç cümleyi, diğeri bütün paragrafı işaretleyebilir. Campbell ve arkadaşları (2013) bunu birimlendirme sorunu olarak tartışır; birim sınırları farklı olduğunda, kodlayıcılar aynı anlamı yakalamış olsa bile hesaplanan uyum düşük görünebilir.

Bu soruna karşı başvurulan yollardan biri, metnin kodlamadan önce sabit birimlere ayrılması ve kodlayıcıların yalnızca bu birimlere kod atamasıdır. Soru cevap çiftlerini, konuşma sıralarını ya da paragrafları birim kabul etmek de mümkündür. Hangi yolu seçerseniz seçin, birim tanımını kod kitabına yazın ve raporda belirtin.

Kurgusal örnekÖrnek (kurgusal)

Bir ekip, uzaktan çalışma deneyimleri üzerine yapılan görüşmelerde “iş yükü baskısı” kodunu kullanıyor. Kodlayıcı A bir katılımcının iki cümlelik yakınmasını, Kodlayıcı B ise aynı yakınmayı içeren beş cümlelik bölümü işaretliyor. Karakter düzeyinde karşılaştırıldığında bu bir anlaşmazlık gibi görünür; oysa iki kodlayıcı da aynı anlamı yakalamıştır. Ekip pilot turdan sonra birimi “katılımcının bir konuşma sırası” olarak tanımlar ve karşılaştırmayı bu birimler üzerinden yapar.

Ölçütler: yüzde uyumdan Krippendorff alfasına

Yüzde uyum, kodlayıcıların aynı kararı verdiği birimlerin tüm birimlere oranıdır. Hesaplaması ve anlatması kolaydır; ancak kodlayıcılar tamamen rastgele karar verse bile bir miktar uyumun şans eseri oluşacağını hesaba katmaz. Özellikle nadir görülen kodlarda, iki kodlayıcı da birimlerin çoğuna “kod yok” dediği için yüzde uyum yanıltıcı biçimde yüksek çıkabilir.

Cohen'in kappa katsayısı (Cohen, 1960) bu sorunu şansa göre düzeltme fikriyle ele alır. Önce gözlenen uyum (po) hesaplanır. Sonra kodlayıcıların kod verme oranları birbirinden bağımsız olsaydı şans eseri ne kadar uyum bekleneceği (pe) bulunur. Kappa, şansın ötesinde gerçekleşen uyumun, şansın ötesinde gerçekleşebilecek en yüksek uyuma oranıdır: κ = (po − pe) / (1 − pe). Değer 1 ise tam uyum, 0 ise şans düzeyinde uyum vardır; negatif değerler şans düzeyinin de altında bir uyumu gösterir. Cohen'in kappa katsayısı iki kodlayıcı ve nominal kategoriler için geliştirilmiştir.

Krippendorff'un alfa katsayısı (Krippendorff, 2019) gözlenen anlaşmazlığı şans eseri beklenen anlaşmazlıkla karşılaştırır. İkiden fazla kodlayıcıyla, eksik verilerle (her kodlayıcının her birimi kodlamadığı durumlarla) ve nominal dışındaki ölçek türleriyle çalışabilmesi onu içerik analizinde yaygın bir seçenek yapar. Hallgren (2012) ise iki ve daha fazla kodlayıcı için kappa türevlerini ve sürekli puanlar için sınıf içi korelasyon katsayısını örneklerle anlatan, çalışma desenine uygun istatistiği seçmeye odaklanan bir kılavuz sunar.

Yaygın ölçütlerin karşılaştırması
Ölçüt	Şansa göre düzeltme	Kodlayıcı sayısı	Güçlü yanı	Dikkat edilecek nokta
Yüzde uyum	Yok	Genellikle iki	Kolay hesaplanır ve anlaşılır	Nadir kodlarda yanıltıcı biçimde yüksek çıkabilir
Cohen'in kappa katsayısı	Var	İki	Şans eseri uyumu hesaba katar	Kodun yaygınlığına ve kodlayıcıların kod verme oranlarına duyarlıdır
Krippendorff'un alfa katsayısı	Var	İki ve daha fazla	Eksik veriyi ve farklı ölçek türlerini destekler	Elle hesaplaması zahmetlidir; uygun bir istatistik aracı gerekir

Çözümlü örnek: kappa adım adım

Aşağıdaki sayılar tamamen kurgusaldır ve yalnızca hesaplamanın mantığını göstermek içindir. İki kodlayıcı, 50 döküm bölümünün her biri için “iş yükü baskısı” kodunun uygulanıp uygulanmayacağına birbirinden bağımsız olarak karar vermiştir.

Kurgusal uyum tablosu (50 bölüm)
Kodlayıcı A / Kodlayıcı B	B: kod var	B: kod yok	Toplam
A: kod var	18	4	22
A: kod yok	6	22	28
Toplam	24	26	50

Kurgusal örnekÖrnek (kurgusal)

Adım 1, gözlenen uyum: İki kodlayıcının aynı kararı verdiği hücreler 18 (ikisi de “var”) ve 22'dir (ikisi de “yok”). po = (18 + 22) / 50 = 40 / 50 = 0,80. Adım 2, kodlayıcıların oranları: A, 50 bölümün 22'sine kod vermiştir (0,44), 28'ine vermemiştir (0,56). B, 24'üne vermiştir (0,48), 26'sına vermemiştir (0,52). Adım 3, şans eseri beklenen uyum: İkisinin birlikte “var” demesi 0,44 × 0,48 = 0,2112; birlikte “yok” demesi 0,56 × 0,52 = 0,2912. pe = 0,2112 + 0,2912 = 0,5024. Adım 4, kappa: κ = (0,80 − 0,5024) / (1 − 0,5024) = 0,2976 / 0,4976 ≈ 0,598. Yüzde uyum %80 iken şansa göre düzeltilmiş uyum yaklaşık 0,60'tır.

Değerleri yorumlamak: eşikler ve sınırları

Kappa değerlerini yorumlarken en sık başvurulan sınıflandırma Landis ve Koch'a (1977) aittir. Yazarlar bu aralıkları tartışma için kullanışlı kıyas noktaları olarak sunmuş, ancak bölünmelerin keyfi olduğunu da kabul etmiştir. McHugh (2012) ise bu etiketlerin, özellikle kararların sonuç doğurduğu sağlık araştırmaları gibi alanlarda fazla hoşgörülü olduğunu savunur, daha katı bir yorum ölçeği önerir ve kappa ile birlikte yüzde uyumun da raporlanmasını tavsiye eder.

Kappa için iki yorum ölçeği
Ölçek	Aralıklar ve etiketler
Landis ve Koch (1977)	0,00 altı: zayıf; 0,00–0,20: çok az; 0,21–0,40: az; 0,41–0,60: orta; 0,61–0,80: önemli; 0,81–1,00: neredeyse mükemmel
McHugh (2012)	0–0,20: yok; 0,21–0,39: asgari; 0,40–0,59: zayıf; 0,60–0,79: orta; 0,80–0,90: güçlü; 0,90 üstü: neredeyse mükemmel

Kurgusal örneğimizdeki 0,598 değeri Landis ve Koch'a göre “orta” aralığına düşer; McHugh'un ölçeğinde ise yuvarlamaya bağlı olarak “zayıf” ile “orta” sınırında durur. Aynı sayının iki farklı etiket alabilmesi, eşiklerin kesin kurallar değil uzlaşımlar olduğunu hatırlatır. Krippendorff (2019) alfa için daha yüksek bir ölçüt önerir: verilere güvenle dayanmak için 0,80 civarını, yalnızca geçici sonuçlar çıkarmak için 0,667 civarını alt sınır olarak görür.

Hangi eşiği kullanacağınızı, kodlama kararlarının sonuçları ne kadar etkileyeceğine göre veri toplamadan ya da kodlamadan önce belirleyin ve gerekçelendirin. Tek bir genel katsayı yerine kod bazında değerleri incelemek, hangi kodların tanımının netleştirilmesi gerektiğini de gösterir.

Uygulama süreci: eğitimden revizyona

Aşağıdaki adımlar, O'Connor ve Joffe (2020) ile MacQueen ve arkadaşlarının (1998) ekip tabanlı kodlamaya ilişkin önerileriyle uyumlu, çalışmanıza göre uyarlanabilir bir akıştır. Kod kitabının kendisini hazırlamak için kod kitabı rehberimize bakabilirsiniz.

Kod kitabını hazırlayın: Her kod için ad, tanım, dahil etme ve hariç tutma kuralları ile kısa örnekler yazın; kodlama biriminin tanımını da ekleyin.
Kodlayıcıları eğitin: Ekip kod kitabını birlikte okur ve birkaç bölümü sesli düşünerek birlikte kodlar; belirsiz tanımlar bu aşamada görünür olur.
Pilot çift kodlama yapın: Verinin bir alt kümesini, örneğin farklı katılımcılardan ve konulardan seçilmiş bölümleri, kodlayıcılar birbirinden bağımsız olarak kodlar. Alt kümenin büyüklüğünü ve seçim biçimini gerekçelendirin.
Uyumu hesaplayın: Seçtiğiniz ölçütü kod bazında hesaplayın; yüzde uyumu da yanında raporlayın.
Anlaşmazlık toplantısı yapın: Farklı kodlanan her bölümü tartışın ve anlaşmazlığın kaynağını ayırt edin: tanım belirsizliği mi, birim sınırı mı, dikkat hatası mı, yoksa gerçek bir yorum farkı mı?
Kod kitabını revize edin: Tanımları ve kuralları netleştirin, gerekirse kodları birleştirin ya da bölün ve değişikliğin gerekçesini yazın.
Gerekirse yeni bir tur yapın: Revize edilmiş kod kitabıyla yeni bir alt küme bağımsız olarak kodlanır; önceden belirlediğiniz ölçüte ulaşıldığında kodlama ekip içinde paylaştırılır.
Belgeleyin: Her turun tarihini, kodlayıcıları, birim tanımını, hesaplanan değerleri, toplantı kararlarını ve kod kitabı sürümünü kaydedin.

Uzlaşıyla çözülen anlaşmazlıkların sayısı ve türü de değerli bir bilgidir: sık tartışılan kodlar çoğu zaman ya kavramsal olarak en ilginç ya da en zayıf tanımlanmış kodlardır.

Raporlama ve araç desteği

Okurun kodlama sürecini değerlendirebilmesi için yöntem bölümünde şu bilgileri vermeyi hedefleyin:

Uyum ölçümünü neden yaptığınız ya da neden yapmadığınız ve bunun yaklaşımınızla ilişkisi
Kodlayıcı sayısı, aldıkları eğitim ve bağımsız çalışıp çalışmadıkları
Birim tanımı ile çift kodlanan alt kümenin büyüklüğü ve seçim biçimi
Kullanılan ölçüt, hesaplama aracı ve kod bazında ya da genel değerler
Yüzde uyum ile şansa göre düzeltilmiş değerin birlikte verilmesi
Anlaşmazlıkların nasıl çözüldüğü ve kod kitabında hangi değişikliklere yol açtığı

Özet

Uyum, kodlayıcıların aynı kararları verme derecesidir; güvenirlik ise sürecin tekrarlanabilirliğine dair bir çıkarımdır.
Uyum ölçümü kod kitabına dayalı, ekip halinde yürütülen ve büyük veri setleriyle çalışan araştırmalarda anlamlıdır; refleksif tematik analizin mantığına uymaz.
Hesaplamadan önce birimi tanımlayın; birim sınırları farklıysa uyum yapay biçimde düşük görünebilir.
Yüzde uyum şansı hesaba katmaz; Cohen'in kappa katsayısı iki kodlayıcı için, Krippendorff'un alfası çok kodlayıcı ve eksik veri için uygundur.
Eşik etiketleri uzlaşımdır; ölçütünüzü önceden belirleyip gerekçelendirin, yüzde uyumu ve kod bazında değerleri birlikte raporlayın.
Pilot çift kodlamayı, anlaşmazlık toplantılarını ve kod kitabı revizyonlarını her turuyla belgeleyin.

Kaynakça

Braun, V., & Clarke, V. (2019). Reflecting on reflexive thematic analysis. Qualitative Research in Sport, Exercise and Health, 11(4), 589–597. https://doi.org/10.1080/2159676X.2019.1628806
Campbell, J. L., Quincy, C., Osserman, J., & Pedersen, O. K. (2013). Coding in-depth semistructured interviews: Problems of unitization and intercoder reliability and agreement. Sociological Methods & Research, 42(3), 294–320. https://doi.org/10.1177/0049124113500475
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37–46. https://doi.org/10.1177/001316446002000104
Hallgren, K. A. (2012). Computing inter-rater reliability for observational data: An overview and tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. https://doi.org/10.20982/tqmp.08.1.p023
Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE. https://doi.org/10.4135/9781071878781
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159–174. https://doi.org/10.2307/2529310
MacQueen, K. M., McLellan, E., Kay, K., & Milstein, B. (1998). Codebook development for team-based qualitative analysis. Cultural Anthropology Methods, 10(2), 31–36. https://doi.org/10.1177/1525822X980100020301
McHugh, M. L. (2012). Interrater reliability: The kappa statistic. Biochemia Medica, 22(3), 276–282. https://doi.org/10.11613/BM.2012.031
O'Connor, C., & Joffe, H. (2020). Intercoder reliability in qualitative research: Debates and practical guidelines. International Journal of Qualitative Methods, 19. https://doi.org/10.1177/1609406919899220