KPSS Kpss - Eğitimde Ölçme Araç ve Yöntemleri

YoRuMSuZ

Biz işimize bakalım...
ÖLÇME VE DEĞERLENDİRME - KPSS

EĞİTİMDE KULLANILAN ÖLÇME ARAÇ VE YÖNTEMLERİ

Eğitim ve Ölçme-Değerlendirmeye İlişkin Temel Tanımlar


Eğitim; bireyin davranışlarında kendi yaşantısı yoluyla ve kasıtlı olarak istendik değişme meydana getirme sürecidir.

Ölçme; “Nitelikleri nicelemek; gözlem sonuçlarını sayısallaştırmak; bir niceliğin gözlenip, gözlem sonuçlarını sayı veya semboller ile gösterilmesi” tanımlarından herhangi birisi kullanılabilir. Ölçme bir gözlemdir. Bir betimleme işidir. Bu tanımlar dışında tanımlar da yapmak mümkündür. “Özellikler kümesiyle sayı veya semboller kümesini eşleme işidir” veya “ampirik küme ile formal küme arasında bir bağıntıdır” gibi tanımlar örnek verilebilir.

Ölçme ve değerlendirme, öğretme ve öğrenmenin etkililiğini belirlemek amacı ile yapılan, eğitimle ilgili verilerin toplanmasını ve yorumlanmasını içeren çok adımlı, sistematik bir süreçtir.

En genel anlamı ile ölçme, bir nesneye ilişkin gözlemlerin sayı ve sembollerle ifade edilmesi, değerlendirmede ölçme sonuçlarını bir ölçüte vurarak, ölçülen nitelik hakkında bir değer yargısına varma süreci olarak tanımlanabilir.

Ölçmede Araçların Rolü
1-Ölçme sonuçlarının duyarlığını ve güvenirliğini dolayısıyla kesinliğini artırır. Ölçme sonuçlarına karışan hata miktarının azalmasını sağlar.
2-Duyu organlarımızla ölçme yapamadığımız durumları gözlememizi kolaylaştırır. Böylece duyu organlarını kullanamadığımız durumlarda da ölçme yapma imkanı buluruz.
3-Herkesin kabul ettiği, üzerinde anlaştığı standart ölçme sonuçları elde etmemize olanak sağlar.


ÖLÇME ARACINDA ARANAN NİTELİKLER

Ölçme aracında üç özelliğin yeterli düzeyde bulunması istenir. Bunlar kısaca aşağıda tanımlanmıştır.
1-Güvenirlik: Ölçme aracının hatalardan arınık olma derecesi, ölçtüğü şeyi tutarlı ölçebilme derecesi.
2-Geçerlik: Ölçme aracının kullanış amacına hizmet etme derecesi, Ölçtüğü şeyi, diğer değişkenleri karıştırmadan ölçebilme derecesi.
3-Kullanışlılık: Ölçme aracının hazırlama, uygulama, puanlama ve tüm bu süreçlerde ekonomiklik derecesi olarak adlandırılabilir.
 

YoRuMSuZ

Biz işimize bakalım...
EĞİTİM ÖĞRETİM SÜRECİNDE KULLANILAN ÖLÇME ARAÇLARI


A. Geleneksel Ölçme ve Değerlendirme Teknikleri


1. Çoktan Seçmeli Testler

Çoktan seçmeli testler bir sorunun doğru cevabının, verilen seçeneklerden bulunmasını gerektiren bir test türüdür. Büyük öğrenci gruplarına uygulanması gereken testlerin neredeyse tamamı çoktan seçmeli maddelerden oluşmaktadır.

Çoktan Seçmeli Madde Nedir?

Çoktan seçmeli bir madde; bir problem durumu sunan bir madde kökü ile madde kökünü izleyen üç ya da daha çok sayıdaki seçmelik cevaplardan oluşur. Madde kökü, bir soru cümlesi ya da bir eksik cümle olabilir. Madde kökünü izleyen seçimlik cevaplara madde şıkları ya da seçenekler adı verilir. Madde kökünde verilen bilgilere göre, seçeneklerden biri, maddenin doğru ya da en doğru cevabıdır; diğer seçeneklere yanlış cevaplar ya da çeldiriciler denir.

Çoktan Seçmeli Madde Türüne Özgü Temel Terimler

Ads%C4%B1z.png


Ayırt ediciliği artar.

Çeldiriciler

Testlerde çeldiriciler önemlidir.
Çeldiriciler, bilmeyen öğrenciye ipucu vermemelidir. Çeldiriciler konuyu bilenleri değil bilmeyenleri yanıltmalıdır.
Çeldiriciler madde kökündeki konuya ilgisiz olmamalıdır.
Çeldiricilerin doğru cevaba yakınlığı arttıkça madde zor bir madde olur ve bilenle bilmeyeni ayırt etme gücü artar. Olumsuz özellikler ile ilgili çeldirici bulmakta zorlanıldığında, madde kökü olumsuz cümle formatı kullanılmalıdır.


Çoktan Seçmeli Madde Türleri

Çoktan seçmeli maddelerin en çok kullanılan türleri şöyle sıralanır:

MADDE KÖKÜNE GÖRE SINIFLAMA

1- Madde kökü soru kipinde olan maddeler.
a- Olumlu soru biçimindeki maddeler.
b- Olumsuz soru biçimindeki maddeler.​
2- Madde kökü eksik cümle olan maddeler.
3- Tek bir doğru cevap isteyen maddeler.
4- En doğru cevap isteyen maddeler.


1- KÖKÜ SORU KİPİNDE OLAN MADDELER:

Bu tür sorularda madde kökü olumlu ya da olumsuz bir soru cümlesidir.

Aşağıdakilerden hangisi, “NİÇİN İNANMIYORSUN KAZANIN ÖLDÜĞÜNE, DOĞDUĞUNA İNANIYORSUN DA” mısrasının düz yazıya en doğru çevrilmişidir?

A-Niçin kazanın doğduğuna inanıyorsun da öldüğüne inanmıyorsun?
B- Doğduğuna inanıyorsun kazanın da niçin öldüğüne inanmıyorsun?
C- Niçin inanmıyorsun kazanın öldüğüne, doğduğuna inanıyorsun da?
D- Kazanın doğduğuna inanıyorsun da öldüğüne niçin inanmıyorsun?
E- Kazanın öldüğüne niçin inanmıyorsun, doğduğuna inanıyorsun da?


2- KÖKÜ BİR EKSİK CÜMLE OLAN MADDELER:


Bu tür maddelerde, madde kökü ile seçeneklerin her biri birleştirildiğinde gramer ve anlam bakımından tam bir cümle ortaya çıkar.
Genel anlamda geçerlik, bir testin;

A- okutulanları örnekleyebilme derecesidir.
B- öğretim hedeflerini ölçebilme derecesidir.
C- kullanılış maksadına hizmet derecesidir.
D- kişilerin gelecekteki başarılarını yordama gücüdür.

Ancak seçeneklerin tek bir tanesiyle birleştirildiğinde doğru bir cümle ortaya çıkar ve maddenin doğru cevabı da bu olur.

3- TEK DOĞRU CEVAPLI MADDELER:

Bu tür maddelerin seçeneklerinden yalnızca bir tanesi kesinlikle doğru cevaptır. Doğru cevabın dışındaki seçeneklerin tümü ise kesinlikle yanlıştır.

4- EN DOĞRU CEVAP GEREKTİREN MADDELER

En doğru cevap isteyen maddelerde seçeneklerin tümü kısmen doğrudur, fakat seçeneklerden birisi açıkça diğerlerinden daha doğrudur. Bu madde türü daha karmaşık davranışları ölçmek için kullanılır.

Aşağıdakilerden hangisi, yazılı yoklamaların avantajlarından birisidir?
A) Çabuk puanlanabilmesi
B) Üst düzeydeki zihinsel süreçleri ölçmeye uyarlanabilmesi
C) Puanlamasının nesnel ve güvenilir olması
D) Yeterli ve temsil edici bir örneklem almaya olanak vermesi

En doğru cevap maddesinde, kökte en doğru cevabın istendiğini belirten kısmın altı çizilmeli ya da bu kısımlar büyük harfle yazılmalıdır. Aksi takdirde bu kısım, cevaplayıcının gözünden kaçabilir ve cevaplayıcı maddeyi bir doğru cevap maddesi olarak algılayıp ona göre cevaplandırır.
Bu tür cevap maddelerinde yukarıdakilerin hepsi/hiçbiri kullanılmamalıdır.[2]

Çoktan Seçmeli Testlerin Dezavantajları

· Kısmi bilgiyi değerlendirme imkanın olmaması,
· Tahmin yüzdesinin yüksek olması, (4 seçenekli bir soruda bu oran minimum % 25’ dir.)
· Dil ve terminolojinin önemli bir etki yapması,
· Düşünme stilinin etkili olabilmesi,
· Soruda seçeneklerin yerlerinin önemli olabilmesi,
· Cevabın nedenini bilmenin mümkün olmaması olarak sıralanabilir.


Çoktan Seçmeli Madde Türleri

Madde kökünde, yoruma açık olan sözcükler ve doğru cevabı bilen bir cevaplayıcı bile madde yazarının aklından geçeni keşfe zorlayan belirsizlik bulunmamalıdır. Bilmece gibi, ne sorulduğu açık olmayan madde yazılmamalıdır.

Madde kökü, ilgisiz, iş görüsü olmayan gereksiz sözcüklerle şişirilmemelidir.

Eğer mümkün ise, madde kökü, maddenin büyük kısmını oluşturmalıdır. Bunun tersi bir uygulama, aynı sözcük ya da sözcüklerin tekrarlanmasına neden olur.

Bir maddenin cevaplandırılması, sunulan bir materyale bağlı ise, ilgili materyal, madde kökünden açıkça ayırt edilebilecek biçimde ayrı yazılmalıdır.

Testteki her madde, başka maddelerin cevaplandırılmasında ipucu olmayacak bağımsız bir problemi içermelidir.

Seçenekler, hem onların okunmasını ve algılanmasını kolaylaştıracak hem de kağıttan tasarruf sağlayacak bir düzende sunulmalıdır.

Çoktan seçmeli maddelerde seçenek sayısı 4 ya da 5 olmalıdır.

Seçenekler arasında sadece tek bir doğru ya daen doğru cevap bulunmalıdır.

Seçeneklerin belirtilmesinde, büyük harfler (A,B,C,D,E) kullanılmalıdır.

Madde yazarken normal yazım ve noktalama kurallarına uyulmalıdır.

2. Doğru Yanlış Soruları

Öğrencinin belli konulardaki yanlış veya doğruları ayırt edebilme gücünü ölçmek amacıyla bir kısmı doğru bir kısmı yanlış önermelerden oluşan testlerdir. Öğrenciden hangi cümlenin doğru yada yanlış olduğunu bulması istenir.

ÖZELLİKLERİ
· Doğru yanlış testlerindeki maddeleri cevaplama işi hem kolaydır hem de çok az zaman alır. Bu özelliklerden dolayı bir sınav süresi içinde diğer bütün tekniklere kıyasla daha fazla soru sorma imkanı ortaya çıkar. Bu durum, bu tür testleri kapsam geçerliği en yüksek teknik haline getirir.
· Puanlanması kolay, çabuk ve objektiftir.
· Doğru yanlış türü maddelerin geliştirilmesi kolaydır ve çok zaman almaz.
· Yalnızca iki seçenek olduğu için şansla puan elde etme ihtimali yüksektir. (% 50)
· Bir doğru yanlış testi öğrencilerin yanlış öğrendikleri yerleri ortaya çıkarmaya elverişli değildir.
· Kullanılacak ifade mutlak anlamda doğru yada yanlış olmak zorundadır.
· Bu sınav türü eğitimin alt ve üst basamaklarında kullanılabilir.
· Cevaplanması çok zaman gerektirmediğinden çok geniş bir bilgi alanı yoklanabilir.

DOĞRU-YANLIŞ TESTİNİN KULLANILACAĞI DURUMLAR
Prensiplerin ve genellemelerin iyi anlaşılıp anlaşılmadığının yoklanacağı durumlarda ve belli bir nokta ile ilgili yalnız iki ihtimal veya seçme olduğu durumlarda doğru-yanlış maddeleri kullanılabilir.

DOĞRU-YANLIŞ SINAVLARININ YARARLI YÖNLERİ:
· Hazırlanması ve puanlanması kolaydır, objektiftir.
· Kapsam geçerliği yüksek olan bir test türüdür.
· Öğrencilerin istenen cevabı vermesi kolaydır.

DOĞRU-YANLIŞ TÜRÜ SINAVLARIN SINIRLI YÖNLERİ:
· Üst düzey bilgiler yoklanamaz.
· Bilgi ve kavrama basamağındaki bilgileri ölçer.
· En az 50 sorudan oluştuğu için hazırlanması fazla zaman alır.

3. Yazılı Yoklamalar

Cevaplayıcının sorulan soruların cevaplarını düşünüp hatırlayarak ve hatırladığı cevabı organize edip yazılı olarak sunduğu sınav türüdür. Kâğıt kalem veya essay tipi sınavlar da denir. Yazılı sınavlar kişinin özgün ve yaratıcı düşünce gücünü, yazılı anlatım becerisini, belli konulardaki görüşünü, ilgisini ve tutumunu ölçmede kullanışlıdır. Yazılı sınavı uygulamaları farklı şekillerde yapılabilir.

Bunlar;
1-Klasik yazılılar: Tanıma uygun olarak, günümüzde birçok öğretmenin uyguladığı sınav tarzıdır.
2-Tercihli sınavlar: Sınav soruları arasında tercihli sorular varsa bu tür sınavlara tercihli sınavlar denmektedir. Tercihli sınavlar birkaç biçimde uygulanabilir. Örneğin, sorular konulara göre gruplandırılarak her gruptan belirli sayıda soru seçilip cevaplandırılması istenebilir; belirli soruları zorunlu tutarak yanında seçimlik sorular verilerek belirli sayıda da seçimlik sorunun cevaplandırılması istenebilir ya da tüm sorular verilerek bunlardan seçilecek belirli sayıda sorunun cevaplandırılması istenebilir.
Yazılı yoklamalarda kullanılan çeşitli soru tipleri vardır. Bunlar;
a-Sınırlı cevap soruları (Kısa cevap gerektiren sorular): Cevapları çoğunlukla sınırlı veya kısa olan sorulardır. Verilecek cevabın niteliğine, uzunluğuna ve örgütlenmesine ilişkin bazı sınırlamalar getirilir (Listeleyin, tanımlayın, nedenlerini sıralayın gibi).
b-Serbest cevap soruları (Uzun cevap gerektiren sorular veya açık uçlu sorular): Cevapları sınırlı olmayan, kompozisyon tipi sorulardır. Cevabın içerik, nitelik ve uzunluğunu belirlemede cevaplayıcıya belli ölçülerde özgürlük verilir (Yaratıcı düşünme gücü, bilgiyi örgütleme yeteneği, düşüncelerin iç tutarlığını ve dış tutarlığını değerlendirme gücü gibi özelliklerin ölçülmesinde kullanılabilirler). Bu tip sorulardan az sayıda sorulabildiğinden kapsam geçerliğini düşürücü etkileri vardır. Ancak, kompozisyon becerileri, sentez ve değerlendirme basamağındaki davranışlar, yaratıcılık ve özgünlük gibi değişkenler ölçüleceği zaman zorunlu olarak kullanılması gereken sorulardır.
c-Zorunlu cevaplı sorular: Bütün cevaplayıcılar tarafından cevap verilmesi zorunlu olan sorulardır.
d-Seçimlik sorular: Cevaplandırılması cevaplayıcıların seçimine bırakılan sorulardır. Bazı durumlarda verilen bütün sorular arasından belirlenen kadarının cevaplandırılması istenir. Bazı durumlarda da zorunlu cevaplandırılacak soruların yanında seçimlik sorularda verilerek, zorunlu sorular yanında seçimlik sorulardan belirlenen kadarının seçilip cevaplandırılması istenir.

Yazılı Sınav Hazırlarken Dikkat Edilmesi Gereken Noktalar:
1- Sorular açık, anlaşılır olmalı; cevaplayıcılar farklı şekilde algılanmamalı.
2- Mümkünse veya amaca uygunsa açık uçlu sorular yerine kısa cevap gerektiren sorular sorulmalı.
3- Sorular birbirinden bağımsız olarak cevaplandırılabilmeli. Her biri belirli bir davranışlar zincirini yoklamalı.
4- Soru ders kitabından veya bilinen bir kaynaktan olduğu gibi alınmamalı (Ezberi yoklar ve geçerliği düşürür).
5- Sorularda ifade ve yazım hataları bulunmamalıdır. Bu hatalar soruların yanlış anlaşılmasına sebep olabilir. "Adamın, eskiden ne yaptığı ile ilgili bir kaygısı yoktu" ile "Adamın eskiden, ne yaptığı ile ilgili bir kaygısı yoktu" farklı anlamlarda cümlelerdir.
6- Gereğinden çok soru yazılmalıdır. Böylece sorular incelenerek düzeltilir ve uygun sorular seçilir.
Yazılı sınavlarının puanlanmasında değişik tekniklerden yararlanılabilir.

Yazılı Sınavlarını Puanlama Teknikleri
1- Genel İzlenimle Puanlama: Puanlayıcının cevaplayıcının kâğıdını baştan sona okunduktan sonra genel izlenimine göre bir puan vermesidir. Özellikle kompozisyon kâğıtları genelde böyle puanlanır. Bu tekniğin puanlama güvenirliği düşüktür.
2- Sınıflama: Cevaplayıcıların kâğıtlarına hızlıca göz atılarak "iyi, orta, zayıf” gibi sınıflara ayrılması ve daha sonra bu sınıflardaki kağıtların puanlanmasıdır. İstenirse bu sınıflar da kendi içinde yeniden sınıflandırılabilir. Genel izlenime göre puanlama güvenirliği yüksektir ancak yine de puanlama güvenirliğinin düşük olduğu söylenebilir.
3- Sıralama: Tüm cevaplayıcıların kâğıtları puanlayıcı tarafından birbiriyle karşılaştırılarak en iyiden en zayıfa doğru sıraya konur. Bütün kâğıtlar bu şekilde sıralandıktan sonra en iyi kâğıda en yüksek not, diğerlerine de buna göre azalan puanlar verilir. Puanlar ilk iki yöntemden daha güvenilirdir ancak yeterli puanlama güvenirliği olduğu söylenemez.
4- Anahtarla Puanlama: Cevaplayıcılardan beklenen cevaplar listelenir. Bu listeye cevap anahtarı denir. Sonra bu listedeki cevaplara göre puanlama cetveli oluşturulur. Puanlama cetveli ve cevap anahtarı kullanılarak yapılan puanlamaya anahtarla puanlama denir. Puanlar diğer puanlama tekniklerine göre daha güvenilirdir yani daha az hatalıdır.

Puanlamada Dikkat Edilecek Noktalar
1- Ölçme konusu olmayan etkenlere puan verilmemelidir (Yazı güzelliği, anlatım gücü vb).
2- Cevaplayıcıyı tanımaktan ileri gelen puanlama yanlılığını önlemek için isimler kapatılmalıdır.
3- Bir sorunun iyi cevaplanmış olması diğer sorulara verilecek puanı etkileyebileceğinden puanlama soru-soru yapılmalı. Her kâğıtta aynı soru okunmalı ve puanlanmalıdır.
4- İyi bir öğrenciden sonra orta bir öğrenci zayıf, zayıf bir öğrenciden sonra ise aksine iyi görünebilir. Bu etkiyi gidermek için kâğıtlar sınıflandırılabilir.
5- Mümkünse birden fazla puanlayıcı kullanılmalıdır.
6- Yorgunluk ve dikkat eksikliği başladığına okuma ve puanlama bırakılmalıdır
7- Anahtarla puanlama imkânı yaratılmalıdır.

4. Ödev Ve Projeler
Öğrencilerin soru veya konuları ders dışında kendi çabalarıyla çözmesi / araştırması; bir inceleme yaparak sonucunu rapor halinde yazabilmesi; bir konuyu derinlemesine araştırması; araştırma, bağımsız çalışma, yaratıcı düşünme, farklı kaynaklar kullanabilme, yardım alma becerilerinin geliştirilmesi; uygulama ve üst düzeydeki davranışların geliştirilmesi ve ölçülmesi vb. amacıyla kullanılan araçlardır.
Ödevler-projeler bazı ölçmecilerce bir ölçme yöntemi olarak kabul edilmez. Ancak ödev ve projelerdeki başarı genel başarının önemli bir yönünü yansıtır ve tanımdaki amaçlar eğitimin amaçları arasındadır. Bazı ölçmeciler ise yukarıdaki görüşün aksine ödev ve proje uygulamaları sonucunda sınav kaygısından uzak, gerçeğe daha yakın bir davranış ölçüsünün elde edileceğini savunur. Bu görüşte de gerçek payı vardır. Ancak bu uygulamalar gözetimden uzak yapıldığından puanların geçerliği şüphelidir. Ödev öğrencinin kendisi tarafından yapılmamış olabilir. Bu tür uygulamalar iyi bir ölçme yöntemi olmasa da iyi bir kendi kendine öğrenme yöntemidir. Puan verilmediği zaman yeterli etkiyi gösterememe riskini önlemek için puan verilmeli ama sakıncalarından dolayı nota katılacak ağırlığı düşük olmalıdır.

Türleri:
1- Bireyse ödev veya projeler.
2- Grup ödevleri veya projeleri

Uygulama Şekilleri:
1- Herkese aynı konu ya da sorunun verilmesi,
2- Kişilere veya gruplara farklı konu ya da soruların verilmesi.

Uygulamada Dikkat Edilecek Noktalar
1- Her öğrenciye ya da gruba farklı konu veya soruların verilmesi amaca daha fazla hizmet edebilir.
2- Ödev veya projeler öğrencilerin ilgilerine göre dağıtılırsa veya kendilerinin seçmelerine izin verilirse beklenen faydanın sağlanma olasılığı artar.
3- Verilen konular öğrencilerin üstesinden kalkabilecekleri bir güçlükte olmalıdır.
4- İnceleme/araştırma amacıyla yararlanabilecek muhtemel kaynaklar ve bulunabilecekleri yerler belirtilmelidir.
5- Konunun kapsamı açıkça belirtilmeli, sınırlan çizilmelidir.
6- Puanlama bir anahtara göre yapılmalıdır. Bu nedenle bir anahtar hazırlanmalıdır.

5. Kısa Cevaplı Testler

Bir kelime, bir rakam, bir cümle veya kısa bir liste ile cevaplandırılabilecek sorulardan oluşan, cevaplayıcının cevabı düşünüp hatırlayarak yazılı olarak sunduğu ölçme araçlarına kısa cevaplı testler denir.

Cevapların düşünüp hatırlanması ve yazılması bakımından yazılı sınavlara; puanlama kolaylığı ve objektifliği bakımından çoktan seçmeli testlere benzer.

Soru Türleri:
1-Soru Kipinde Sorular: Madde soru cümlesi biçimindedir. “Kim, nasıl, niçin, nerede vb.” soru kipleri ile biten cümlelerden oluşur.
ÖR: “Bir ölçme aracında aranması gereken en önemli nitelik hangisidir?”
2-Eksik Cümle Tipinde (Boşluk Doldurmalı) Sorular: Öğrencilerden ifadelerde, cümlelerde veya paragraflarda bırakılan boşluk ya da boşluklara uyan kelimeyi veya cümleyi (kelimeler veya cümleleri, sayıları vb.) yazması beklenen sınav türüdür.
ÖR: “Ölçek türlerinden, .... .... her işlemi yapmaya uygundur.” Cümledeki boşluğa uygun kavramı yazınız.
3-Tanımlamayı Gerektiren Sorular: Bu tip sorularda bir kavramın tanımı, bir tanımı belirten kavram veya bir olgunun belirgin özelliklerinin yazılması istenir.
4-Tanımayı Gerektiren Sorular: Bu tip sorularda bir bilginin, kavramın, tanımın, özelliklerin veya işlem basamaklarının tanınması istenir.

Özellikler:
1-Cevaplayıcı cevabını düşünüp bularak yazmak zorundadır. Şans başarısı olmadığından güvenirlik yükselir.
2-Cevaplayıcı istediği cevabı verme özgürlüğüne sahiptir ancak yazılı sınav sorularına verilen cevaplarda olduğu gibi şişirme yapamaz.
3-Uygulama ve analiz düzeyine kadar davranışlar yoklanabilir. Bu nedenle kullanışlıdır.
4-Her eğitim düzeyine uygun düşen sınav tipidir. Her yaştaki öğrenciye uygulanabilir. Bu sebeple kullanışlıdır.
5-Puanlama göreceli kolaydır ama tamamen objektif (nesnel) olmayabilir. Kullanışlıdır ve kısmen de güvenilirdir.
6-Çok soru sorulabileceğinden kapsam geçerliği yazılı yoklamalardan yüksektir.
7-Cevaplar kısa ve belirgin olduğundan puanlama güvenirliği yazılı yoklamalara göre yüksektir. Bu sebeple güvenirlik artar.
8-Fikirleri kompoze etme, yazı güzelliği, kâğıdın düzeni gibi etkenler ölçmeye daha az karışacağından geçerliği yazılı yoklamalardan yüksektir.
9-Soruları hazırlama ve puanlama kolaydır. Bu nedenle kullanışlıdır.
10-Şans başarısı yoktur. Bu nedenle güvenirlik artar.
11-Testi tekrar kullanma imkânı ayrı bir cevap kâğıdı kullanılarak yaratılabilir. Bu durumda kullanışlılık artar.
12-Sorularda şekil, harita ve grafiklerden faydalanılabilir. Bu sebeple testin kullanışlılığı yükselir.

6. Sözlü Sınavlar

Soruların sözlü olarak sorulup, cevaplayıcının cevaplarını düşünüp hatırlayarak sözlü olarak sunduğu sınav türleridir. Sözlü yoklamalar da denir. Birçok soru tipi kullanılabilir. Uygulanmasında çeşitlilik görünmekte belirli standartlardan uzak sınavlardır. Bu nedenle sınav türlerini sınıflamak zor olmaktadır.

Kullanıldığı alanlar:
1-Okul öncesi ve ilköğretimin ilk yıllarında yararlanılmalıdır.
2-Konuşma becerileri, sözlü anlatım gücü gibi özellikleri ölçmede kullanılabilir.
3-Müzik alanındaki becerileri ölçmede de kullanılabilir.
4-Yabancı dil konuşma becerisini belirlemede kullanılır.

Aksak Yanları:
1-Bir sorunun ancak bir cevaplayıcıya sorulması; cevap yanlış da olsa başka cevaplayıcıya sorulamaması,
2-Az sayıda soru sorulmasının güvenirliği ve geçerliği düşürmesi,
3-Puanlama güvenirliğinin genelde düşük olması,
4-Özellikle ölçülmediği durumlarda konuşma diline hâkimiyet, sözlü anlatım gücü gibi değişkenlerin ölçülecek değişkene karışarak geçerliği düşürmesi,
5-Cevaplayıcıya fazla zaman verilmemesi,
6-Soruyu soranla cevaplayıcının etkileşim içinde olması,
7-Heyecan-sıkılma-korku gibi etmenlerle soruyu soranın ses tonu-jest ve mimikleri veya cevaplayıcıya karşı takındığı tavrın geçerliği düşürmesi olarak sayılabilir.
 

YoRuMSuZ

Biz işimize bakalım...
B. Alternatif Ölçme ve Değerlendirme Teknikleri

1. PERFORMANS DEĞERLENDİRME


Performans değerlendirme, öğrencilerin bireysel farklılıklarını dikkate alarak, onların bilgi ve becerilerini eyleme dönüştürmelerini, gerçek yaşama aktarmalarını sağlayacak durum ve ödevler aracılığıyla değerlendirme yapmak biçiminde tanımlanabilir. Performans değerlendirme, dersin kazanımlarıyla ilgili olarak öğrencinin günlük yaşamındaki problemleri nasıl çözeceğini ve problem çözmek için sahip olduğu bilgi ve becerileri nasıl kullanacağını göstermesini ister. Performans değerlendirmeyle öğrenciler, sınav saatleriyle sınırlandırılmaksızın geniş bir zaman diliminde çalışma ve tekrar yapma, oluşturulan ölçütlere göre yeterlik derecelerini ortaya koyma olanaklarına sahip olurlar. Performans değerlendirme gözlenebilen bir performans veya somut bir ürünle sonuçlanmaktadır. Bu tip değerlendirmede kâğıt kalem testleri gibi öğrenci basit cevaplar vermez, bir ürün meydana getirir. Otantik değerlendirme görevleri öğrencilerin mümkün oldukça gerçek yaşama benzer problemler yoluyla bilgi ve becerilerini göstermesini gerektirir. Açık uçlu sorular ya da performans görevleri otantik ya da performans değerlendirme çalışmalarının iyi örnekleridir.

Performans değerlendirme, öğrencinin yeni bilgiyi yapılandırmasını gerektirir. Performans ödevlerinde, tek bir cevap yoktur. Ödevi tamamlamak için değişik yollar bulunmaktadır. Bu nedenle iyi tanımlanmış bir ölçütle değerlendirmelidir. Başarılı bir değerlendirme yapmak için her bir performans görevi bir dereceli puanlama anahtarı (rubric) ile eşleştirilmelidir. Öğrenciler performans ödeviyle dereceli puanlama anahtarının bir örneğini alırlar. Böylece değerlendirme sürecinde, öğrenciler kendilerinden ne beklendiğini bilerek çalışmalarını ona göre yönlendirirler. Dereceli puanlama anahtarı, öğrencinin başarısı için bir yol haritasına dönüşür.


2. DERECELİ PUANLAMA ANAHTARI (RUBRİC)

Dereceli puanlama anahtarı, performansı tanımlayan ölçütleri içeren puanlama rehberidir. Herhangi bir çalışmanın puanlanması için geliştirilmiş ölçütleri içeren bir araçtır. En faydalı dereceli puanlama anahtarı öğretmenlerin kendi yaptıklarıdır.

Dereceli Puanlama Anahtarı Kullanmanın Nedenleri

· Öğretmen ve öğrenci için açık bir kalite tanımı verir.
· Öğrenciler derecelendirme ölçeği kullandıkça ürettikleri ürünün sorumluluğunu daha fazla duyarlar.
· Öğretmenlerin puanlama için harcadıkları zamanın azalmasına katkıda bulunur.
· Öğretmenin öğrenci çalışmalarını değerlendirmelerini basitleştirir.
· Öğrencilere bir ödevi tamamlarken kendi performanslarını değerlendirebilecekleri standartlar ve ölçütler sağlar.
· Ölçeklerde belirlenen ölçütlerin velilere bildirilmesi, çocuklarına yardımcı olacak velilere kolaylık sağlar.

Dereceli Puanlama Anahtarı Geliştirme Aşamaları

· Ölçeğin ne amaçla geliştirileceğinin belirlenmesi,
· Ne tür puanlama anahtarı kullanılacağına karar verilmesi
· Ölçütlerin tanımlanması. Davranış, ürün yada her bir becerinin yeterlik düzeyi için kısa ölçütler yazılır. Burada önemli olan yeterlik düzeylerini tanımlamak ve düzeyler arasında ölçütleri iyi ayırt edebilmektir.
· Kullanılacak ölçeğin taslağının hazırlanması,
· Taslak üzerinde gerekli düzeltmelerin yapılması için öğrenci ve öğretmen görüşlerinin alınması
· Uygulamadan sonra tutarlık ve güvenirliğin belirlenmesi


Dereceli Puanlama Anahtarının Hazırlanmasına Yönelik Bazı Öneriler

· Dereceli puanlama anahtarlarında çok genel ölçütler kullanılmamalıdır.
· İşlevsel olmayan detaylara yer verilmemelidir.
· Sınırlı sayıda boyuta ya da özelliğe odaklanmak gerekir.
· Anahtar nitelikte, öğretilebilir ölçütler kullanılmalıdır.
· Ölçülebilir ölçütler kullanılmalıdır.
· Tanımlayıcılar dikkatlice seçilmelidir.
· Dörtlü bir performans düzeyi kullanmak daha işlevseldir.
· Düzeyler arasındaki uzaklık eşit tutulmaya çalışılmalıdır.
· Gerektiğinde, dereceli puanlama anahtarının ölçütlerinin belirlenmesi sürecine öğrencilerin de katılımı sağlanmalıdır.

Amaçlarına Göre Dereceli Puanlama Anahtarı

1. Bütüncül Dereceli Puanlama Anahtarı: Öğretmenin genel süreci veya ürünü bir bütün olarak, parçalarını dikkate almadan puanlamasıdır. Bu yöntem öğrenme ürünleri toplam puan olarak değerlendirilmek istendiğinde kullanılır.

2. Analitik Dereceli Puanlama Anahtarı: Burada önce performans veya ürünün parçalarının ayrı ayrı puanlanmasını, sonra da bu puanları toplayarak toplam puanın hesaplanmasını gerektirir. Bu ölçekler, çalışmanın ya da ürünün farklı boyutlarına farklı notlar vermek amacıyla oluşturulur.

3. ÜRÜN SEÇKİ DOSYASI (PORTFOLYO)

Portfolyo Değerlendirme: Öğrencinin bir veya birden fazla konu alanında yaptığı çalışmaların sistematik, anlamlı ve amaçlı bir koleksiyonudur.[4] Öğrencilerin bir yıl veya bir dönem boyunca, dersle ilgili kazanımlara dönük olarak yaptıkları etkinliklerin, öğretmen rehberliğinde belli kurallara göre seçilerek bir dosyada toplanması ve belirli ölçütlere göre değerlendirilmesidir. Alan yazında öğrenci ürün dosyası, bireysel gelişim dosyası, ürün seçki dosyası olarak da adlandırılmaktadır.[5]

Portfolyonun İçeriği:
Portfolyoların içerisinde, öğrencilerin bütün çalışmaları yerine, dersin öğretim programında belirlenen hedefler doğrultusunda performanslarını en iyi yansıtan seçkin çalışmaların ve öğrencilerin hedefler doğrultusundaki gelişim ve ilerlemelerini kanıtlayan belge ve dokümanlar yer almalıdır.
Öğrenci gelişim dosyasında, dosyanın kullanım amacına göre aşağıdaki çalışma örneklerinin tamamı ya da bir kısmı yer alabilir:
· Öğretmen kayıtları (gözlemler, anektod kayıtları vb.)
· Sınav sonuçları, rubrikler
· Öğrenci çalışmaları
· Öğrencinin sözel ve psikomotor becerilerini gösteren teyp ve video kayıtları
· Öğrencinin kendi çalışmaları hakkındaki düşünceleri
· Öğrenciye yazılan mektuplar
· Öğrencinin yazdığı mektuplar
· Öğretmenin aileye ve diğer öğretmenlere yazdığı mektuplar
· Diyagramlar, fotoğraflar, resimler
· Videokasetler ve ses kasetleri
· Grup ödevleri ve projeler
· Deney raporları
· Kavram haritaları
· Venn diyagramı[6]

Bir Portfolyo Dosyasında Bulunması Gereken Bölümler:

1. Ön Bölüm / Giriş Bölümü
Bu bölüm, kapak sayfası, içindekiler sayfası ve öğrenci tanıtım sayfasından oluşmaktadır.
a. Kapak Sayfası: Portfolyoyu kimin hazırladığını gösteren sayfadır.
b. İçindekiler Sayfası: Dosyanın hangi sayfasında ne olduğunu belirten sayfadır.
c. Öğrenci Tanıtım Sayfası: Öğrencinin kendisini portfolyo okuyucusuna tanıttığı sayfadır.

2. Ana bölüm
Bu bölüm, öğrenci çalışmaları ve bu çalışmalara ait, öğrenci, veli ve öğretmen değerlendirmelerinde kullanılabilecek ve geçerlilikleri ve güvenilirlikleri sağlanmış ölçme araçlarından oluşmaktadır.
a. Öz Seçim Formu: Öğrencinin dosyaya koymayı düşündüğü çalışmalar için doldurduğu formdur.
b. Öğrenci Çalışmaları: Öğrencinin isteği ile dosyasında olmasını istediği etkinlikler (projeler, tasarımlar, ödevler, vb.) bu bölümde yer alır.
c. Öz Değerlendirme Formu: Öğrencinin çalışmasını tamamladıktan sonra çalışmanın önceden belirlenen ölçütlerin ne kadarını karşıladıklarını veya ne derecede karşıladıklarını belirlemede kullandıkları formdur.
d. Akran Değerlendirme Formu: Öğrencilerin yaptıkları çalışmaları bitirdikten sonra belirlenen ölçütlerden ne kadarını karşıladıklarını/ ne derecede karşıladıklarını belirlemede kullandıkları formdur.
e. Grup Değerlendirme Formu: Öğrencilerin grup arkadaşlarıyla birlikte yaptığı çalışmalardan sonra doldurdukları formdur.
f. Dereceli Puanlama Anahtarı: Genellikle öğretmen tarafından öğrenci çalışmalarının puanlanmasında kullanılan bir ölçme aracıdır.[7]

4. PROJE

Projeler, öğrencilerin bireysel veya grup olarak istedikleri bir konuda öğretmen rehberliğinde yapmış oldukları ayrıntılı çalışmalardır. Proje çalışmaları, öğrencilerin inceleme, araştırma ve yorum yapma, görüş geliştirme, yeni bilgilere ulaşma, özgün düşünce üretme ve çıkarımlarda bulunma gibi becerileri geliştirmesi açısından oldukça önemlidir.

Proje geliştirme süreci uzun, karmaşık ve zorlu bir süreçtir. Bu ödevler, öğrencilerin yaratıcılık, araştırma, iletişim gibi üst düzey zihinsel becerilerini geliştirir.

Projenin tasarımından ortaya konulmasına kadar geçen süreç, bilimsel süreç basamaklarını içereceğinden bilimsel süreç becerilerinin gelişmesine yardımcı olur. Projeler yönergeler ve puanlama standartları gerektirir.
Proje konuları zümre öğretmenleri tarafından belirlenebileceği gibi öğrenciler de kendi ilgi duydukları alanlara göre bireysel ya da grup olarak proje konusu belirleyebilirler. Verilen proje konuları öğrencilerin düzeyine uygun ve yerel imkânlara göre yapılabilecek nitelikte olmalıdır. Grup halinde yapılacak projelerde grupların, öğrencilerin cinsiyet, başarı durumu vb. özellikleri bakımından heterojen olmasına dikkat edilmelidir. Grup çalışmalarında grup üyelerinin görev dağılımı projenin her aşaması için net olarak yapılmalıdır. Görev dağılımı grup üyeleri tarafından yapılarak öğretmenin onayı alınır.
Projenin her aşamasında görevlerin yapılıp yapılmadığı aşamanın bitiminde öğretmen tarafından kontrol edilir ve grup üyelerine geri bildirim verilir. Görevini yeterince yerine getirmeyen öğrencilerin bireysel özelliklerine de dikkat edilerek gerekli önlemler alınır.

5. KONTROL LİSTELERİ

Öğrenciden beklenen davranış ya da davranışlara yönelik ayrıntılı bilgiler içeren ve öğrenci performansının eksikliklerini belirlemeyi sağlayan araçlardır.

6. GÖZLEM FORMLARI

Gözlem; herhangi bir nesne, olgu ya da olayı iyi kavramak için, bu nesne, olgu ya da olayın belirti ya da koşullarını bir plan çerçevesinde göz ya da görsel araçlar yoluyla oluş halinde evre evre izlemektir.[9] Ayrıca gözlem; belirli bir kimse, yer, olay, nesne, durum ya da şarta ait bilgi toplama amacıyla, belirli hedeflere yöneltilmiş bir bakış ve dinleyiş olarak da tanımlanabilir.[10] Gözlemler, öğrenciler hakkında çabuk ve doğru bilgiler edinmeyi sağlar.

7. TUTUM ÖLÇEKLERİ

Tutum, psikolojik bir objeye yönelen olumlu veya olumsuz bir yoğunluk sıralaması ve derecelemesidir, duyuşsal alan ile ilgilidir ve öğrencilerin tutumları ile başarıları arasında doğru orantılı bir ilişki söz konusudur.[11] Bu nedenle öğrencilerin tutumlarının belirlenmesi gerekmektedir. Bunun için tutum ölçekleri kullanılır ve değerlendirilir. Tutum ölçekleri, bir kimsenin ya da bir kümenin nelere, ne derece değer verdiğini, o duruma ilişkin ne düşündüğünü ve ne hissettiğini saptamaya yarayan ölçme araçlarıdır ve genellikle Likert tipinde hazırlanmaktadır.[12]

8. ÖZ DEĞERLENDİRME

Belli bir konuda bireyin kendini değerlendirmesine öz değerlendirme denir. Öz değerlendirme, bireylerin yeteneklerini kendilerinin keşfetmelerine yardımcı olan bir yaklaşımdır. Öz değerlendirme, öğrencilerin okulda yaptıkları çalışmaları, nasıl düşündüklerini ve nasıl yaptıklarını değerlendirmelerini gerektirir. Öz değerlendirme, öğrencilerin güçlü ve zayıf yönlerini tanımalarına yardım eder. Performansının düzeyi hakkında karar vermek için kişisel ya da kişiler arası ölçüt koymada öğrencilere fırsatlar sunar. Öz değerlendirme öğrencilerin güdülenme düzeylerinin yükselmesine yol açar. Öğrencilerin değişik durumlarda davranışlarını kontrol altına almalarını sağlar.

Öz değerlendirmenin olumlu ve olumsuz yönleri vardır. İnsanların genellikle kendi performanslarını değerlendirirken yanlı davranma olasılıkları göz ardı edilmemelidir. Öz değerlendirme, ilk başlarda öğrencilerin deneyimsizliği nedeniyle yanılgılara neden olabilir. Öğrenciler deneyim kazandıkça daha doğru kararlar alacaklardır.

9. AKRAN DEĞERLENDİRME

Bir grup içinde yer alan öğrencilerin akranlarını veya birbirlerinin çalışmalarını değerlendirmesidir. Bu yöntemle, öğrencilerin her çeşit performansları (performans görevleri, araştırma ve proje raporları, kompozisyon yazısı vb.) değerlendirilebilir.
Akran değerlendirme, gruptaki öğrencilerin belli ölçütler çerçevesinde birbirlerini değerlendirme sürecidir. Akran değerlendirme, öğrencilerin kendilerine olan güvenlerinin artmasını sağlar. Öğrenciler, arkadaşlarının çalışmalarındaki yeterlik düzeylerini değerlendirirken kendilerinin eleştirel düşünme becerileri de gelişir. Değerlendirmeye temel oluşturan beceri ve ölçütlerin saptanması konusunda öğrenciye bakış açısı sağlar.

10. GRUP DEĞERLENDİRMESİ

Grup değerlendirmesiyle, bir grubu oluşturan bireyler, grup içerisinde göstermiş olduğu performansı değerlendirirler. Grup değerlendirmesi, hem akran değerlendirmeyi hem de öz değerlendirmeyi içerir. Ayrıca grup değerlendirmesi, bir grubun başka bir grubu değerlendirmesi şeklinde de yapılabilir.

11. GÖRÜŞME (MÜLAKAT)

Önceden belirlenmiş ve ciddi bir amaç için yapılan, soru sorma ve yanıtlama tarzına dayalı karşılıklı ve etkileşimli bir iletişim sürecidir. Yapılan görüşmenin etkin olabilmesi için görüşmeyi yapan kişi, soruları önceden hazırlamalı, görüşme ortamını düzenlemeli ve amaca uygun sorular sormalıdır.

12. YAPILANDIRILMIŞ GRİD

Öğrenci seviyelerine göre bir konuda hazırlanan sorulara verilecek cevapların numaralandırılmış bir tabloya dağıtılmasıyla oluşan bir ölçme değerlendirme aracıdır. Yapılandırılmış grid, birbiri ile ilişkili bilgi ağına yönelik olarak, öğrencilerin her yeni konuyu mevcut bilgilerle ilişkilendirmelerini ve bu şekilde düşünmelerini teşvik eder. Öğrencilerin bilişsel yapısına ışık tutarak, bu yapıdaki yanlış kavramları ve aksaklıkları ortaya koyan ve anlamlı öğrenmeyi sağlayan bir tekniktir.


Yapılandırılmış Grid Tekniğinin Avantajları

Yapılandırılmış grid tekniğinde şans faktörünün etkisi azaltılarak bilen ve bilmeyen öğrenci arasındaki ayrımın yapılması sağlanır. Yapılandırılmış grid tekniği kısmi bilginin değerlendirilerek ödüllendirilmesinde fayda sağlar, böylece öğrenci motivasyonun artmasında etkili olur. Öğrencilerin verdiği cevap konu hakkındaki eksik veya yanlış bilgilerini ortaya çıkararak bilişsel yapıdaki aksaklıkları gösterir. Bu teknikte öğrencilerin konuyu bilmeden soruyu doğru cevaplamaları yani tahminde bulunmaları hemen hemen imkânsızdır.

Yapılandırılmış Grid Tekniğinin Dezavantajları:

Tekniğin hazırlanması aşamasında zaman gerektirdiği konusunda sınırlılığından bahsedilebilir. Bu teknik eğer öğretmen tarafından hazırlanıyorsa hazırlanma aşamasında zaman harcamayı gerektiren bir tekniktir.

13. TANILAYICI DALLANMIŞ AĞAÇ

Öğrencilerin bir konuda neler öğrendiklerini veya öğrenmediklerini belirlemek için kullanılan değerlendirme araçlarından birisidir. Bu araçta, ana fikirden ayrıntılara doğru giden bir sıraya göre, doğru ve yanlış ifadeler seçilerek öğrenciden doğru seçimi yapması istenir. Birbirinden bağımsız olarak hazırlanan doğru yanlış sorularının aksine, tanılayıcı dallanmış ağaçta sorular ve cevaplar birbiri ile bağlantılı ve birbirini etkileyen bir yapıdadır.

14. KELİME İLİŞKİLENDİRME TESTLERİ

Bu teknikte belli bir süre içerisinde, (çoğunlukla 30 saniye) bir anahtar kavramın akla getirdiği diğer kavramlar cevap olarak verilir. Hafızadan herhangi bir anahtar kavrama verilen sıralı cevabı bilişsel yapıdaki kavramlar arasında bağlantıları ortaya koyduğu ve anlamsal yakınlık gösterdiği farz edilir. Anlamsal yakınlık etkisine göre anlamsal bellekte iki kavram birbirine mesafe açısından ne kadar yakın ise o kadar sıkı ilişkidedir ve hatırlama esnasında da zihinsel araştırma daha çabuk olacağından her iki kavramla ilgili cevap daha hızlı olacaktır.

Kelime İlişkilendirme: Değerlendirme

· Öğrencilerin her anahtar kelimeye verdikleri cevap kelimelerin sayısı ve niteliği,
· Anahtar kelimelere verilen cevap kelimeleri arasındaki örtüşme ve yakınlık (İlişki katsayısı),
· Zihin haritası (Tanılama amaçlı).


KAYNAKÇA
1. ERTÜRK, Selahattin, Eğitimde program Geliştirme, Yelkentepe Yayınları 4, Ankara, 1972, s.12
2. Dr.Gürbüz OCAK, Afyon Kocatpe Üniversitesi Eğiticiler Eğitimi Seminerleri, 2012
3. Hasan Hüseyin DEMİREL, Sağlık Bilimleri Enstitüsü, Patoloji Anabilim Dalı
4. Bahar, Mehmet, Z. Nartgün, S. Durmuş ve B. Bıçak (2006) Geleneksel-Alternatif Ölçme ve Değerlendirme Teknikleri Öğretmen El Kitabı, Ankara: Pegem A Yayıncılık.
5. Çalışkan, H. ve S. Yiğittir (2008) Sosyal Bilgilerde Ölçme ve Değerlendirme. Özel Öğretim Yöntemleriyle Sosyal Bilgiler Öğretimi, Ankara: Pegem A Yayıncılık, ss. 217-281.
6. KARAMANOĞLU Sadi, İlköğretim öğrencilerinin fen başarılarının değerlendirilmesinde sorgulama programının kullanılması: Portfolyo, Marmara Üniversitesi, İstanbul, 2006
7. KUTLU Ömer, DOĞAN Deha, KARAKAYA İsmail, Öğrenci Başarısının Belirlenmesi: Performansa ve Portfolyoya Dayalı Durum Belirleme, Ankara, PegemA Yayıncılık, 2008
8. ÇALIŞKAN Hüseyin ve YİĞİTTİR Süeyman, Sosyal Bilgilerde Ölçme ve Değerlendirme. Özel Öğretim Yöntemleriyle Sosyal Bilgiler Öğretimi, Ankara, PegemA Yayıncılık, 2008, s. 217-281.
9. BİNBAŞIOĞLU Cavit, Eğitim Psikolojisi, Ankara: Yargıcı Matbaası, 1995
10. KARASAR, Niyazi (2004) Bilimsel Araştırma Yöntemi, 13. Baskı, Ankara: Nobel Yayın Dağıtım, 2004
11. Aşkar, P. ve M. Erden, Öğretmenlik Mesleğine Yönelik Tutum Ölçeği, Çağdaş Eğitim Dergisi, Sayı 121, 1987
12. YEŞİLYAPRAK Binnur, Eğitimde Rehberlik Hizmetleri, Ankara: Nobel Yayın Dağıtım, 2000
13. MEB, Ortaöğretime Geçiş Sisteminde SBS ve Yeni Bir Model, Nisan 2010, Ankara
 

KaderKatibi

Dürüstlük insanın kartvizitidir, Matbaada basılmaz
Özel üye
Hedef olmayınca hep sağa sola çarparsınız hedef belirleyin sonra kurs murs kolay. Neyi istiyorsan dört elle ona sarıl.
 
Top