YGS sonuçları nasıl değerlendirilmeli?

Test hazırlama, geliştirme, uygulama ve sonuçlarını değerlendirme uzmanlık isteyen bir alan. Sınavların öğrencilerin öğrenme düzeylerini takip etmek amacıyla kullanılması ancak test geliştirme sürecinde belli şartların sağlanması ile mümkün. YGS şu andaki yapısı ile bundan oldukça uzak. Sonuçlardaki düşük başarıya dayanılarak bugün tartışılan konuların temelinde test geliştirme ilkelerine uymayan uygulamaların da önemli ölçüde etkisi var.

Öncelikle YGS ile ilgili sorunların nereden kaynaklandığını iyi belirlemek gerekiyor. Üniversiteye giriş ülkemizde öğrenciler için hayati önem taşıyor, yerleştirme oranlarındaki düşüklük bu sınavı gittikçe daha da rekabetçi bir yapıya sokuyor. Her yıl ön denemesi yapılmamış sorularla yeni test formları oluşturuluyor. Doğal olarak her yıl önceki yılların tekrarına düşmemek için özgün sorular yazılmaya çalışılıyor, bu da sonuçta testlerin gittikçe daha zor olmasına neden oluyor.

Soruların ön denemeye sokulmaması hatalı soruların kullanılma olasılığını arttırıyor. Bu olumsuzluklar içinde belki de en önemlisi yalnızca çoktan seçmeli soruların kullanılmasının eğitim öğretim sistemi üzerinde yarattığı olumsuz etkidir. Okullarda çoktan seçmeli sorular üzerinden öğretim yapılıyor, soru ile ölçülmek istenen zihinsel süreç ve konunun öğretilmesinden çok, hangi soru tarzında öğrencilerin nasıl yanıt vermeleri gerektiği eğitim öğretim etkinliklerinin temelini oluşturuyor.

Diğer sorunlu durum ‘eşitlik’ ilkesi

Ancak soru üzerinden öğretim yapılarak belli temel beceri ve kavramları geliştirmek mümkün değil. Sonuçta öğrenciler bir şey üretmeden verilenler arasından en doğru olanı seçmek için adeta yarıştırılıyor, sınava hazırlanma sürecinde bir günde çözülen çoktan seçmeli soru sayısı önemli bir başarı ölçüsü olarak ön plana çıkıyor. Bu yaklaşımın öğrencilerin ders çalışma alışkanlıklarını da olumsuz yönde etkileyeceği aşikar. İ

İlgili sınavlarda açık uçlu soruların kullanılması yönünde bazı çalışmaların yapıldığı biliniyor. Ancak bu konuda da dikkat edilmesi gereken önemli noktalar var. Bu tür soruları hazırlamak, objektif puanlama cetvellerini kurgulamak uzmanlık gerektiren ekip çalışmaları ile mümkün.

Diğer bir sorunlu durum da ‘eşitlik’ ilkesidir. Farklı okul türlerine göre ayrıştırılmış bir eğitim sisteminde sınava her öğrencinin eşit koşullarda girdiğini söylemek mümkün değil. Öğrenciler hem yeteneklerine göre, hem de sosyoekonomik ve kültürel düzeylerine göre farklı okullara ayrıştırılıyor. Bu farklı grupların eşit öğretim imkanlarından yararlanıp yararlanmadığı ayrı bir inceleme konusudur.

Ülkemizde öğrenciler arası sosyoekonomik ve kültürel farkların test sonuçlarına etkisi oldukça büyük. Bu PISA çalışmalarında da ortaya çıkıyor. Ancak okullar arası kaynak dağılımı ve öğretim niteliği farklarının azaltıldığı sistemlerde öğrencilerin sosyoekonomik ve kültürel farklarının sınav sonuçlarına yansıması son derece küçük. Ülkemizdeki eğitim sorunları tartışılırken ‘eşitlik’ ilkesinin üniversite giriş sınavları kapsamında da ciddi olarak ele alınıp irdelenmesi gerekiyor.

Sınavlardaki teknik sorunlar

Üniveristeye girişte kullanılan testlerdeki temel teknik sorunlar çözülmeden sonuçlara dayanarak eğitim sistemi ile ilgili yorum yapılmaması gerekir. Bu sorunlar aşağıda özetleniyor.

1 - Bir test sonucundan diğerine öğrencilerin daha iyi öğrenip öğrenmediğini söyleyebilmek için test puanlarının ölçme sonuçları arasında eşleştirilmesi gerekir. Bunu PISA ve TIMSS gibi uluslararası çalışmalar gerçekleştiriyor. Bu nedenle puan ortalamalarına göre öğrencilerin öğrenmeleri hakkında çıkarımda bulunmak bu uygulama sonuçları için mümkün.

Ancak aynı şey YGS için mümkün değil. Çünkü yıllar içinde uygulanan sınavlar birbirleriyle eşleştirilmiyor. Özgün soru yazma endişesi büyük olasılıkla bir yıldan diğerine sınav sorularını güçleştiriyor. Bunun yanı sıra öğrencilerin daha az öğreniyor olması da mümkün. Sonuçta güçlük açısından eşleştirilmeyen sorulardan elde edilen ölçme sonuçlarının karşılaştırılmasında giderek düşen başarının niteliksiz eğitim uygulamalarından mı, yoksa her yıl daha zor soru kullanılmasından mı kaynaklandığını söylemek mümkün değil.

Bu nedenle sınavların birbirine göre güçlüğü hakkında bir kanıt elde etmeden öğrencilerin öğrenme açısından daha geriye gittiği sınav sonuçlarında ortalama olarak yapılan doğru soru sayısına bakılarak söylenemez. YGS’de puanların yıllar arasında eşleştirilmesi şu andaki test uygulamaları ile mümkün gözükmüyor.

Örnek sorularla önceden açıklanmalı

2 - Sorularla hangi zihinsel süreçlerin ölçüldüğü net değil. Aynı soru içinde birden fazla süreç ve konu boyutu ölçülmeye çalışılıyor ki bu da ölçme prensiplerine aykırıdır. Sınavlarda uygulanan sorular örnek alınarak benzerleri üretiliyor. Sınavda kullanılan sorular temel ölçme ve değerlendrime ilkelerine aykırı hazırlandığında çok daha sorunlu benzerleri üretiliyor ve bunlar eğitim sistemi içinde öğretim materyalleri olarak kullanılıyor.

Bu açıdan YGS iyi soru örnekleri kullanmak zorunda. Kapsam geçerliği açısından irdelenmesi gereken bu sorunlu durum (i) aynı soru ile birden fazla konu boyutunun ölçülmeye çalışılması, soruda ölçülmeye çalışılan özelliklerle ilişkisi olmayan bilgi ve materyallerin kullanılması, (iii) soru ifadelerinin yanıt için gerekli olmayan açıklamalarla büyütülmesi ve (iv) sorunun ölçtüğü zihinsel süreçlerdeki belirsizlik olarak dikkati çekiyor.

Bunun yanı sıra soru yazma teknikleri açısından da sorunlar mevcut. Bu sorunlar Milli Eğitim Bakanlığı sınavlarında da dikkati çekiyor. Sonuçta ülkemizdeki geniş ölçekli sınavlarda kullanılan sorular ölçme ve değerlendirme ilkeleri dikkate alındığında iyi örnek oluşturmaktan uzaktır. Sınavlarla ilgili bir diğer durum da sınav kapsamının sınav öncesinde yeteri kadar açıklanmamasıdır.

Bugüne kadar ÖSYM sınav öncesinde test planını kamu oyu ile paylaşmadı. Öğrencilerin yaşamları için bu kadar önemli olan bir sınavın (i) konu ve (ii) zihinsel süreç boyutlarında neleri kapsayacağı örnek sorularla önceden açıklanmalı. Yayınlanan soruların kapsamları incelendiğinde testlerin hazırlanmasında soru niteliği anlamında ve genel olarak testin neyi ölçtüğü boyutunda sorunlar olduğu görülüyor.
Kapsam geçerliği açısından irdelenmesi gereken bu durum sonuçta puanların ne anlam ifade ettiği konusunda da belirsizlik yaratıyor.

Yükseköğretimde bir programa yerleşen ve yerleşmeyen öğrencilerin hangi bilgi birikimi ve zihinsel süreçler açısından birbirinden farklı olduğu konusu belirsiz kalıyor. “Bu bir sıralama sınavıdır bu yeterlikleri tanımlamaya gerek yok” gibi bir açıklama ne yazık ki günümüzdeki geniş ölçekli sınav uygulamaları kapsamında savunulacak bir gerekçe değil.

Puanlara karşılık gelen öğrenci yeterliklerinin tanımlandığı bir sistem üniversitedeki programlar için de önemli bir geri bildirim sağlar. Bu kadar büyük emek ve para harcanarak yapılan YGS ne yazık ki sisteme “kaç tane netin var” ve “sıran ne” sorularının yanıtlarından başka hiçbir bilgi sağlamıyor. Sisteme öğrenci yeterlikleri ile ilgili geri bildirim sağlayacak bir sınav sistemi çok iyi hazırlanmış test planları ve buna bağlı olarak neyin ölçüldüğü iyi tanımlanmış sorularla mümkün. Şu andaki yapı bu tür bir sitem kurmaktan oldukça uzak.

Hem güç, hem de hız testi olarak uygulanıyor

3 - YGS başta olmak üzere ÖSYM’ce hazırlanan testler hem güç testi, hem de hız testi olarak uygulanıyor. Eğer üniversiteye belli becerileri geliştirmiş olma düzeyine göre öğrenci seçilecek ise her öğrencinin her soruyu yanıtlamaya teşebbüs etmesi gerekir. Şu andaki durumda hız önemli bir faktör olarak dikkati çekiyor ki bu aslında bu tür sınavlarda istenmeyen bir değişken ve sonuçların geçerliğini olumsuz etkiler.

Ayrıca test kuramları açısından testlerin hız testi olarak uygulanması teknik bazı hatalara da neden olur. Sonuçta öğrencilerin sıklıkla tekrarladığı zamanın yeterli olmaması, soruların bu kadar güç olduğu bir sınavda önemli ve dikkate alınması gereken bir eleştiridir. Eğitimciler olarak sürekli tekrarladığımız bir prensibe bu sınavlarda uyulmuyor.

Kişilerin öğrenme hızları farklıdır. Eğitim sürecinde bu farkların dikkate alınması gerekir. Kaldı ki üniversite eğitiminde belli yeterliklere sahip öğrencilerin olması gerekir. Bu yeterlikler düşünme süreci ve bilgi donanımı olarak tanımlandığında, hızlı olmanın üniversite eğitiminde çok da anlamlı bir ölçü olmadığı aşikar.

Sonuçta belli yeterliklere sahip olmaktansa hızlı olanın seçildiği bir sınava dayanarak seçme yapılıyor. Geçerlik testlerin amacına hizmet etme gücüdür. Bu açıdan bakıldığında YGS’nin ve Lisans Yerleştirme Sınavı’nın (LYS) amacı belli yeterlikteki ve bilgi düzeyindeki öğrencilerin seçilmesi olmalı. Yeterliklere göre seçme ve yerleştirme yapılması gereken bir sınavda hıza göre karar vererek, ciddi bir geçerlik sorunu yaratılıyor. En iyimser olasılıkla hız istenmeyen bir değişken olarak puanlara yansıyor, bu da daha önce söylendiği gibi geçerlik sorunu yaratıyor.

Testin zorluğu ve sınava grubun düzeyi arasındaki ilişki

4 - Bir diğer – belki de en önemli sorun test güçlüğü ile testi alan grubun yetenek düzeyinin eşleşmemesidir. Türkiye’de test soruları ne kadar zor olursa o kadar iyi ölçme ve seçme yapılır gibi tamamen yanlış bir inanış vardır. ÖSYM’nin de sonuçları analiz etmede kullandığı kuramsal yaklaşım yetenek ve güçlük arasında eşleşme olduğu zaman doğru parametreler sağlar. Aksi takdirde sonuçlar yanıltıcı olur. Bu ilgili yazında taban etkisi olarak ele alınır ve sonuçların geçerliği ve güvenirliğini olumsuz yönde etkiler.

Bu durum özellikle fen ve matematik alt alanlarında daha ciddi bir şekilde karşımıza çıkıyor. Örneğin, fen bilimleri alt testinde 40 sorudan 4 tane doğru yapan ortalama puanı alıyor. Bir soru daha doğru yapan ya da yapamayan öğrenci aldığı puan açısından avantajlı ya da dezavantajlı duruma düşebiliyor. Kaldı ki 40 soruda 4 soru şansla da tutturulabilir. Her ne kadar yanlış yanıtlar için düzeltme uygulanıyor olsa da ülke genelinde ortalama dört sorunun doğru yanıtlandığı bir testte şans başarısının rol oynamadığını söylemek mümkün değil.

YGS’de her öğrencinin her alt testteki sorulara yanıt vermesi bekleniyor. Benzer şekilde LYS için de aynı durumun geçerli olduğunu söylemek mümkün. Ancak soruların bu kadar zor olduğu bir alt testte öğrencilerin ilgili alandaki becerileri kazanıp kazanmadıklarına yönelik bilgi toplanamıyor.

Büyük olasılıkla fen ve matematik alanlarında soruların yanıtlanmama oranları da oldukça yüksektir. Bu durumda bu iki alandaki eğitim ve öğretimin sorunlu olduğu söylense de tek nedenin bu olmadığı açık. İlgili alt testler öğrenci grubuna uygun hazırlanmıyor. Teknik olarak bu sınavda her yetenek düzeyindeki öğrencilerin yapabileceği güçlükte soruların olması, yani yetenek ve test güçlüğünün eşleşmesi gerekiyor. Sonuçta taban etkisi puanlara yansıyor.

Seçme ve yerleştirme işlemleri ilgili yüksek öğretim programları kapsamında puanlardaki yüzdelik basamaklardaki farklara göre yapılıyor. Bu ölçme açısından son derece sorunlu bir durum. Test puanlarındaki güvenirlik ölçüleri dikkate alındığında yüksek öğretim programlarına seçilen ve seçilmeyen öğrencilerin puanları arasında anlamlı bir fark oluşmuyor. Bu uygulama seçme ve yerleştirme kararlarında özellikle puanların kesme noktasında ciddi yanlışların yapılmasına neden oluyor.

Ne yapılmalı?

Üniversiteye geçişte nasıl bir sistemin kullanılması gerektiği ayrı bir tartışma konusu. Ancak yukarıda sıralanan genel sorunlar var olan sistemin de ciddi olarak ele alınması gerektiğini gösteriyor. Öncelikle testlerin iyi planlanması, soruların bu plan çerçevesinde yazılması, eğer pilot yapma şansı yoksa ÖSYM’nin elinde bulunan daha önceki yıllara ait soru bankasındaki bilgi birkiminin kullanılarak test güçlüğü ile öğrenci yetenek dağılımları arasındaki eşleşmenin sağlanması gerekiyor.

Son yıllarda giderek daha çok gündeme gelen açık uçlu soru kullanımı da önemli bir konu. Öğrencilerin yalnızca verilenler arasından doğru olanı seçmek yerine yazılı yanıtları ne ölçüde üretebildiklerinin de dikkate alınması özellikle üniversite eğitiminde kaçınılmaz olarak ön plana çıkıyor. Yalnız açık uçlu soruların kullanılmasında dikkat edilmesi gereken önemli hususlar var. Açık uçlu soru kullanmayı gerektirecek geçerli bir nedenin olması lazım. Eğer soru çoktan seçmeli sorulabiliyorsa bu format tercih edilmeli. Ancak çoktan seçmeli ile sorulamayan bazı becerilerin tercihen yanıtı sınırlandırılmış açık uçlu sorularla test kapsamına alınması gerekir.

Çoktan seçmeli soruyla sorulabilen bir durumun açık uçlu sorulması puanlama hatası sorununu getirir ki bu var olan tartışmaların giderek daha da büyümesine neden olur. Açık uçlu soru kullanımı puanlamanın nasıl ve kimler tarafından yapılacağı, puanlayıcıların nasıl bir eğitimden geçirileceği, puanlama güvenirliğinin nasıl sağlanacağı, ne sürede puanlamanın tamamlanması gerektiği gibi yalnızca lojistik açıdan ele alınması gereken bir konu değil. Yukarıda sıklıkla dile getirilen geçerlik sorunu açık uçlu sorular için de ciddi olarak tartışılması ve incelenmesi gereken bir durum. Yanıtı sınırlandırılmış açık uçlu soru yazmak ve puanlamak oldukça zor bir süreç. Eğer bu tür uygulamalara gidilecekse şimdiden ilgili çalışmaların yapılması gerekiyor. Bu çalışmaların temelini de açık uçlu soruların niteliği oluşturmalı.

Çoktan seçmeli soruların niteliği düşük

Ülkemizde çoktan seçmeli soruların niteliği çok düşük. Sonuçta sınavlarda çıkan soruların benzerleri üretilirken nitelik önemli bir ölçüt olarak dikkate alınmıyor. Benzer durum açık uçlu sorular için de söz konusu olabilir. Niteliksiz açık uçlu sorular puanlama aşamasında sorun yaratır bu da sonuçların bugünkünden daha çok tartışılmasına neden olur.

Öncelikle açık uçlu soru ve yanıt anahtarı hazırlama konusunda gerekli uzmanlığın geliştirilmesi, bu tür soruların psikometrik özellikler açısından irdelenmesi sürecin lojistiğinin yanında mutlaka ele alınması gereken konulardır. Aksi takdirde bu sınavda açık uçlu soru sorulması daha büyük geçerlik sorunlarının oluşmasına neden olabilir. Kapsamlı bir değerlendirme açık uçlu soru kullanılmasını gerektiriyor.

Ülkemizdeki geniş ölçekli sınavlarda bu tür soruların kullanılması kaçınılmaz olarak başlamak durumunda. Bu nedenle şimdiden nitelikli açık uçlu soru yazma ve objektif puanlamayı sağlayacak puanlama cetvelleri hazırlama konusunda uzmanlık ve tecrübenin oluşturulmasına öncelik verilmeli.

Yukarıda da söylendiği gibi kamuoyuna testlerin kapsamları anlatılırken açık uçlu soru kullanımı ile ne yapılmaya çalışıldığı konusunda da bilgi verilmesi kaçınılmazdır. Bir an önce bu çalışmalara başlanması, konu ile ilgili bilgi birikiminin oluşturulması, bilgisayar ve insan kullanılarak açık uçlu soruların puanlanması konusunda gerekli olan bilgi birikiminin ve teknik donanımın oluşturulması sağlıklı bir sınav kapsamı için kaçınılmaz.

Sistemde yapılacak reformların tartışılması

Üzerinde durulması gereken başka bir nokta da yukarıda bahsedilen ‘eşitlik’ ilkesi kapsamında sistemde yapılacak reformların tartışılmasıdır. Kimi zaman bu anlamda bazı düzenlemeler yapılsa da ülkemizde okullar arası başarı farkları çok büyük. Sistemdeki ayrıştırmacı yapının ‘eşitlik’ ilkesi kapsamında yeniden gözden geçirilmesi ve gerekli tedbirlerin bir an önce alınması gerekiyor. Her öğrencinin eşit koşullarda üniversite sınavına girmesi genel prensip olarak benimsenmek durumunda.

Öğrencilere yıl içinde birden fazla sınav alma hakkını tanıyan sistemlerin de gündeme getirilmesi gerekiyor. Sınavı kazanamayıp bir yıl daha bekleyen öğrenci oranları giderek standart koşullarda sınav uygulama şartlarını zorlayacak. Bu anlamda yine bilgisayar destekli, randevuya dayalı sınav uygulamalarının da gündeme alınması ve kamu oyunun bu konuda bilgilendirilmesi sistemin başarısı açısından gerekli.

Günümüzde kullanılan birçok geniş ölçekli sınav bilgisayar ortamında bireyselleştirilmiş formatta yapılandırılıyor. Bu nedenle ülkemizdeki uygulamalarda da bir süre sonra zorunlu olarak bilgisayar destekli sınav uygulamalarını kullanmak zorunda kalacağını söylemek yanlış olmaz. Bu noktada altı çizilmesi gereken en önemli konu ölçme ve değerlendirme işinin bir uzmanlık alanı olduğudur. Gerek açık uçlu uygulamalar, gerekse bilgisayar ortamında bireyselleştirilmiş test uygulamaları ekip çalışmaları ile mümkün.

Bu çalışmalar hem psikometrik alanda hazırlanan ölçme araçlarından elde edilen sonuçların geçerliğini ve güvenirliğini hem de uygulama lojistiğini içeriyor. Bu uygulamaların bir sınavdan diğerine hemen hayata geçirilmesi mümkün değil. Ülkemizdeki test uygulayan kurumların ilgili bilgi birikimini ve uzmanlığı bünyelerinde oluşturması ortaya çıkan ürünlerin ve uygulamaların daha savunulabilir olmasını sağlayacaktır.