SESHAT EĞİTİMDE VE PSİKOLOJİDE BİYOMETRİK VE BOYLAMSAL ARAŞTIRMALAR GRUBU
Geçerlik
Fen bilimleriyle karşılaştırılırsa sosyal bilimlerdeki ölçme sorunları, önemli ilerlemeler olmasına karşın çözümlenmiş değildir. Bunun önemli nedenlerinden birisi, eğitim ve psikoloji gibi sosyal bilimler kapsamında yer alan ve ölçülmesi hedeflenen özellik, nitelik veya durumların yeteri kadar somut olmayışıdır. İkinci önemli nedeni ise, eğitim ve psikolojide ölçme sonuçlarının ifade edildiği sayı ve sembollerin formal değerlerinin (matematiksel değerlerinin), bu sayı ve sembollerin gerçek değerlerinin formal özellikleriyle örtüşme sorunudur. Ölçmede geçerlik kavramı bu ve benzer sorunlarla baş etmek amacıyla yapılan çalışmalar sırasında ortaya çıkmış bir kavramdır. Geçerlik kavramıyla ilgili çalışmaların önemli amaçlarından birisi, en uygun ölçme sonuçlarına ulaşılabilecek süreci tanımlamaktır. O nedenle, ölçülen özelliğin gerçek değeri ile elde edilen ölçme sonucu arasındaki uyum geçerlik konusu altında incelenmeye çalışılmıştır.
Eğitimde kullanılan ölçme araçlarının geçerliği, iki açıdan irdelenme- ye çalışılır Turgut, 1995). Bunlardan ilki, aracın ölçmek istediği amaca uygun puanlar verip vermediği, İkincisi ise elde edilen puanlara amacın dışında başka etkilerin karışıp karışmadığıdır. Her iki durumda da hem aracın hem de o araçla elde edilen puanların geçerliği etkilenebilir. O nedenle, geçerlik ölçme aracının ölçmeye çalıştığı amaca uygun ölçümler vermesi ve bu ölçümlere ilgilenilen değişkenlerin dışında başka değişkenleri karıştırmaması olarak tanımlanır (Ebel, 1972, Turgut, 1995).
Bir ölçme aracının amaca uygun puanlar verebilmesi, ölçme kapsamım iyi örneklemesine ve araçta yer alan soruların bu amaçların işaretçisi olabilecek biçimde yazılmasına bağlıdır. Aracın ölçme kapsamını iyi örneklemesi kritik olan öğrenmeleri ölçen soruları içermesiyle, soruların ölçme amaçlarının işaretçisi olabilecek biçimde yazılması ise sorunun ilgili davranış gösterilerek çözümlenebilecek bir soru olmasma bağlıdır.
Öte yandan, her ölçme aracının ölçme amacı bir başkasıyla farklılık gösterebilir. Bu farklılık ölçme araçlarının geçerliği konusunda kanıt arama yollarını da etkilemektedir. Ölçmeyle ilgili alan yazın incelendiğinde geçerlikle ilgili farklı yolların ve sınıflamaların yapıldığı görülebilir. Fakat geçerlik konusuyla ilgili yapılan tartışmaların odağı, daha çok ölçülen özelliklerle örtüşebilecek ölçme sonuçlarının nasıl elde edilebileceği üzerine olmalıdır.
Geçerlik konusunda kanıt arama yolları geçerlik türlerinin ortaya çıkmasına neden olmuş ve bu amaçla çok çeşitli sınıflamalar yapılmıştır. Eldeki kaynakta bütün bu sınıflamaları dikkate alan kapsayıcı bir sınıflama yoluna gidilmiştir. O nedenle, geçerlik türleri aşağıdaki şekilde ele alınarak sıralanmış ve açıklanmaya çalışılmıştır.
1. Kapsam Geçerliği
2. Ölçüt Geçerliği
3. Yapı Geçerliği
4. Sonuçsal Geçerlik
1. Kapsam Geçerliği
Bir ders ya da kursun en önemli amacı tanımlanan hedeflere (veya kazanımlara) ulaşmaktır. Söz konusu hedeflere ulaşılabilmesi planlanan ve sürdürülen öğrenme ve öğretme etkinliklerine bağlıdır. Bu süreçte hedeflere ulaşılıp ulaşılmadığının sıkı biçimde izlenmesi gereklidir. Bu amaçla yapılacak bir ölçme işleminin kapsamında, dersin tanımlanmış hedefleriyle tutarlı davranışlar yoklanır. Ölçme aracı, ölçme kapsamda yer alan hedef ve bu hedeflerle ilgili davranışları örneklendirebildiği ölçüde geçerli sonuçlar verebilir. O nedenle kapsam geçerliği iki açıdan ele alınabilir. İlki, araçta yer alan soruların dersin kapsamında yer alan tüm konuları örnekleyecek düzeyde, İkincisi ise her bir sorunun ölçmeyi amaçladığı davranışı ölçebilir nitelikte olmasıdır. Başka bir deyişle, ölçme aracında yer alan her bir soru, ilgili olduğu davranışı yoklamak koşuluyla, ölçme kapsamında yer alan tüm davranışları temsil edebilecek nitelikteyse kapsam geçerliği sağlanmış olur. Burada önemli noktalardan birisi, ölçme aracının kapsam geçerliği için hem dersin veya konuların içeriğinin hem de davranışların analiz edilmesidir. Dersin içeriği önkoşul oluş özellikleri de dikkate alınarak dengeli bir dağılım oluşturacak biçimde, hedefler ise hem aşamalılık özelliklerine göre hem de niceliksel olarak analiz edilmeli ve ölçme kapsamına alınmalıdır. Eğer bir ölçme aracı, ölçme kapsamında yer almasına rağmen kimi konu ve hedef davranışları içermiyorsa kapsam geçerliği düşer.
Bir ölçme aracının kapsam geçerliğini test etmeye dönük istatistiksel yaklaşım yoktur. Bu konuda kanıt aramanın en gerçekçi yolu, ölçme aracının içeriğiyle ölçme kapsamı arasındaki ilişkiyi mantıksal açıdan irdelemektir. Eğer, irdeleme sonucunda araçla kapsam arasında güçlü ilişkiler görüle- biliyorsa, bu aracın ölçme amacına hizmet ettiği, değilse geçerliğinin düşük olduğu sonucuna ulaşılır.
2. Ölçüt Geçerliği
Bir ölçme aracının amaçlar doğrultusunda puanlar verip vermediğinin anlaşılması için başvurulan yöntemlerden bir diğeri, araçla elde edilen puanları ilgili başka ölçütlerle karşılaştırmaktır. Bir ölçme aracının geçerliği konusunda kanıt aramak amacıyla karşılaştırılacak ölçütün geçerli bir ölçüt olması zorunludur. Eğer ölçme aracı, geçerli olduğu bilinen bir ölçütle karşılaştırıldığında ölçütle uyumlu sonuçlar veriyorsa, aracın geçerliğinden söz edilebilir. Değilse, ölçme aracının geçerliği düşüktür.
Ölçüt geçerliğine dayalı kanıt arama sırasında iki yol izlenebilir. İlki, geçerlik konusunda kanıt aranan aracı aynı amaca hizmet eden ve geçerli olduğu bilinen başka bir araçla karşılaştırmak, ikicisi ölçme aracının ölçmeyi amaçladığı özellikler bakımından iyi olduğu bilinen bir grupla zayıf olduğu bilinen başka bir grubun puanlarım karşılaştırmaktır. Örneğin, matematik dersindeki başarıyı ölçmek amacıyla geliştirilecek bir testin, geçerli olduğu bilinen ve matematik başarısını veya yeteneğini ölçen başka bir testle ilişkisine bakmak, ölçüt geçerliği konusunda kanıt aramak anlamına gelir. Böyle bir durumda, geliştirilen test ölçüt olarak alınan başka bir test ile uyumlu puanlar veriyorsa, test geçerli bir test olarak kabul edilebilir. Değilse testin geçerliği düşüktür. Benzer biçimde, geçerliği konusunda kanıt aranan test, matematik başarısının yüksek olduğu bilinen bir grupla, düşük olduğu bilinen başka bir gruba uygulandığında elde edilen puanlar arasındaki fark istatistiksel olarak başarının yüksek olduğu grup lehine anlamlı çıkıyorsa, bu fark testin geçerli olduğuna işaret eder.
Bu örneklerden de anlaşılacağı gibi, geçerliği konusunda kanıt aranan aracı bir dış ölçütle karşılaştırmak ölçüt olarak seçilen araçlarla söz konusu aracın uyumuna bakmaktır. O nedenle, bu tür geçerlik çalışmaları alan yazında uyum geçerliği (concurrent validity) olarak da ifade edilmektedir.
Ölçüt geçerliği konusunda kanıt aramanın bir diğer yolu, araçla elde edilen puanlarla öğrencilerin gelecekteki başarıları arşındaki uyuma bakmaktır. Ölçme amaçlarından bir diğeri, öğrencileri başarı durumlarına göre sıralamanın yanında, gelecekte başarılı olabilecek öğrencileri tanımlamaktır. Örneğin, seçme amacıyla kullanılacak bir testin, gelecekte başarılı olabilecek öğrencileri seçebilmesi o testin kestirim gücünü gösterir. Böyle bir test ölçme amaçlarına uygun puanlar verdiğinden isabetli seçimler yapılmasını sağlar. Eğer bir test, gelecekteki başarının işaretçisi olan başka bir ölçütle karşılaştırılır ve aralarında güçlü bir uyum gözlenirse, bu uyum testin gelecekteki başarıyı kestirebildiğini gösterir. Bir testin gelecekteki başarıyı kestirme gücü testin yordama geçerliği (predictive validity) olarak adlandırılır.
Yukarıdaki açıklamalar dikkate alınırsa, ölçüt geçerliği ile ilgili bilinmesi gereken nokta şudur: Ölçüt geçerliği, ölçme aracının geçerli olduğu bilinen başka ölçütlerle uyumuna dayanır. Ölçüt, test verileriyle ayrı zamanda elde edilen verilerden oluşuyorsa aradaki ilişki uyum geçerliğini ifade eder. Yani matematik başarısını ölçen bir testin, geçerliği kanıtlanmış başka bir matematik testiyle uyumuna bakmak gibi. Öte yandan, ölçüt olarak kullanılacak veriler gelecekte elde edilebilecek veriler ise, yani ölçüt verileriyle geçerliği çalışılan testin verileri farklı zamanlarda elde ediliyor ise bu durumda çalışılan geçerlik türü yordama geçerliğidir. Örneğin, üniversiteye öğrenci seçmek amacıyla kullanılan bir testin puanlarıyla seçilmiş öğrencilerin üniversite mezuniyet dereceleri arasında uyuma bakmak, testin yordama geçerliğini kestirmeye hizmet eder.
3. Yapı Geçerliği
Yapı geçerliği bir biçimde kapsam geçerliğine benzer özellik sergiler. Özellikle psikolojik yapıların, örneğin kişilik özellikleri veya duyuşsal davranışlar gibi yapıların kapsamını tanımlamak, bir dersle ilgili başarının kapsamını tanımlamak kadar kolay değildir. Bunu yapmanın bir yolu, psikolojik yapıları tanımlamaya yardımcı olacak istatistiksel tekniklerden yararlanmaktır. Söz konusu teknikler, Faktör çözümlemesi olarak bilinen tekniklerdir. Faktör çözümlemesi, maddelerin önceden kuramsal olarak kurgulanmış yapı veya yapılara uygun olup olmadıklarını ya da ilgilenilen özelliği ölçmesi bakımından hazırlanan bir dizi maddenin hangi yapıları tanımladığını saptamamıza yardımcı olur. Maddelerin önceden tanımlanmış kuramsal yapıya uygunluğunu test etmek amacıyla başvurulan yönteme doğrulayıcı (confirmatory) faktör çözümlemesi (Şimşek, 2007) bir dizi maddenin hangi yapıları tanımladığını saptamak amacıyla başvurulan yönteme ise açımlayıcı (exploratory) faktör çözümlemesi adı verilir. Faktör çözümlemesi sonucunda ortaya çıkan faktörler ölçeğin boyutlarını tanımlamaya, boyutlara giren maddelerin özellikleri ise söz konusu boyutları adlandırmaya yardımcı olur.
Yapı geçerliğine ilişkin kanıt aramanın diğer bir yolu da, geçerliği konusunda kanıt aranan ölçekle benzer veya farklı yapıları ölçtüğü bilinen başka ölçekler arasındaki uyuma bakmaktır. Bu yöntem, özellikle çok boyutlu ölçeklerin yapı geçerliğine ilişkin kanıt arama sırasında başvurulan bir yöntemdir. Yöntem, deneme sonuçlarından elde edilen puanlardan .hareketle boyutlar arasındaki ilişkilerin çalışılmasını gerektirir. Boyutlar arasındaki ilişkiler bir korelasyon matrisi verir. Bu matris dikkatli biçimde incelenerek, ölçeğin yapı geçerliği tanımlanmaya çalışılır. Matris, yapı geçerliği çalışılan ölçek veya ölçeğin boyutları ile benzer yapıları yokladığı bilinen diğer ölçek veya o ölçeğin boyutları arasında yüksek ve anlamlı; fakat farklı yapıları ölçtüğü bilinen ölçek veya o ölçeğin boyutlarıyla da düşük veya negatif ilişkiler gösteriyorsa, bu durum eldeki ölçeğin yapı geçerliği konusunda kanıt olarak kullanılabilir. Bu yöntemde dikkat edilmesi gereken nokta, her üç ölçek arasındaki ilişkilerin birlikte değerlendirilmesi gereğidir. Yönteme göre, eldeki ölçeğin benzer yapıları yoklayan ölçekle ilişkisi yakınsak (convergent), farklı yapıları ölçtüğü bilinen ölçekle ilişkisi ise ayırıcı (discriminant) geçerliği olarak tanımlanır
4. Sonuçsal Geçerlik
Sonuçsal geçerlik kavramı yapılandırmacı bilgi felsefesinin öğrenme ve öğretme süreçleri üzerindeki etkisine bağlı olarak ortaya çıkmış yeni bir kavramdır. Sonuçsal geçerlik, öğrencinin öğrenme ve öğretme sürecine etkin katılımını, kendi öğrenme düzeyini sorgulayarak yönetebilmesini, ayrıca öğrenme ile değerlendirme etkinliklerinin iç içe kullanılmasını gerekli kılan alternatif değerlendirme yaklaşımlarıyla ilgili bir kavramdır (Boud, 1995). Sonuçsal geçerlik, değerlendirmenin öğrenme üzerindeki etkisine dayanır. Eğer, aktif öğrenme sürecinde kullanılan alternatif değerlendirme yaklaşımları öğrencilerin öğrenmeleri üzerinde beklenen etkiyi sağlıyorsa, uygulanan yaklaşım veya yaklaşımların geçerliğinden söz edilebilir.
Aktif öğrenme yöntemleri, yeterliklerinin farkında olan, ilerlemesi gereken konuların neler olduğunu bilen, eksikliklerini nasıl tamamlayabileceği konusunda bilinçli, kısaca kendi öğrenmesini sorgulayabilen ve yönetebilen bireyler yetiştirmeyi amaçlar. (Yurdabakan, 2005).
Öğrencilerin kendi öğrenmelerini sorgulayabilmeleri ve yönetebilme- leri, öz-düzenleme (self-regulation) veya bilişüstü (metacognition) beceriler gibi özelliklere sahip olmalarını gerekli kılar. Bu gereklilik, öz, akran, ortak veya biriktirim (portfolyo) değerlendirme olarak bilinen özgün değerlendirme yaklaşunlarmm geliştirilmesine ve öğrenme ile değerlendirme etkinliklerinin iç içe kullarulmasma neden olmuştur. (Yurdabakan, 2005).
Değerlendirme işleminin, alışılmış olana ek olarak, daha farklı bir yapıya bürünmüş olması, değerlendirmenin geçerliği konusuna bakış açısını da değiştirmiştir. Geçerlik kavramı öz, akran, ortak ve biriktirim değerlendirme gibi alternatif değerlendirme yaklaşımlarının amaçlarını da içerecek şekilde genişletilmiştir. O nedenle, bilinen geçerlik türleri araşına sonuçsal geçerlik (consequently validity) olarak ifade edilen yeni bir geçerlik türü eklenmiştir (Messick, 1989 ve 1995).
Tartışılan bir konu olmasına karşın, sonuçsal geçerlikle ilgili dikkat edilmesi gereken önemli bir nokta, daha çok değerlendirme işleminin geçerliğinin sorgulandığıdır. O nedenle, alternatif değerlendirme yaklaşımlarından herhangi birinin geçerliği konusunda kanıt aranırken, söz konusu yaklaşımların öğrencilerin kendilerini veya akranlarını sorgulamaları ile bilişüstü becerileri üzerindeki etkilerine, ayrıca öğrenme sürecinin bir parçası olarak alternatif değerlendirme yaklaşımlarının öğrencileri sınıf veya grup etkinliklerine katılımları konusunda teşvik edip etmediğine, gerektiğinde alışılmış değerlendirme sonuçlarıyla karşılaştırılarak öğrencilerin öğrenme düzeyleri üzerinde etki yaratıp yaratmadığına bakılmalıdır (Boud, 1995).