International Association of Educators   |  ISSN: 2834-7919   |  e-ISSN: 1554-5210
International Journal of Progressive Education
International Association of Educators

Original article | International Journal of Progressive Education 2023, Vol. 19(2) 118-134

Rubric for Evaluating Text Structure-Oriented Reading Tasks: A Study of Validity and Reliability

Zeynep Çetinkaya Edizer, Melda Oryaşın, Şükran Dilidüzgün & Duygu Ak Başoğul

pp. 118 - 134   |  DOI: https://doi.org/10.29329/ijpe.2023.534.8   |  Manu. Number: MANU-2207-04-0005

Published online: April 01, 2023  |   Number of Views: 116  |  Number of Download: 240

Save PDF

Abstract

In this study, it was aimed to develop a rubric for evaluation of text-based reading tasks and to provide proofs of validity and reliability. In the study, data were collected from the participants who studied at the undergraduate and graduate level in the field of Turkish education. In the development of the rubric, a literature review was conducted, and dimensions (text structure activities, task-based activities) and sub-dimensions (small-scale structure, large-scale structure and superstructure; general tasks and text-oriented reading tasks) were determined. A draft rubric was created by determining 5-point Likert-type score levels for these criteria. The draft rubric was rearranged by taking the opinions of 4 text structure language teaching, 4 task-based language teaching and 2 assessment-evaluation experts. The designed rubric was applied to the participants by using three text types (story, poem and article). Reading activities collected from the study group were scored by 6 raters within the framework of the rubric prepared. Validity (Lawshe, exploratory factor analysis) and reliability (consensus reliability analysis, Cronbach Alpha, correlation coefficient) analyses were performed on the collected data. As a result of Lawshe analysis, the content validity rate was between 0.80 - 1.00, and the content validity index was found to be 0.98. The KMO value for three types was found to be 0.898, and it was determined that the data were suitable for factor analysis. The Cronbach Alpha coefficient is 0.919. The correlation coefficient varied between 0.501 and 0.836 and it was determined that there was a significant, positive and strong correlation at the level of 0.01 among the items. It was concluded that the developed rubric is a valid and reliable measurement tool.

Keywords: Text Structure, Reading Tasks, Rubric, Validity, Reliability

How to Cite this Article?

APA 6th edition
Edizer, Z.C., Oryasin, M., Diliduzgun, S. & Basogul, D.A. (2023). Rubric for Evaluating Text Structure-Oriented Reading Tasks: A Study of Validity and Reliability . International Journal of Progressive Education, 19(2), 118-134. doi: 10.29329/ijpe.2023.534.8

Harvard
Edizer, Z., Oryasin, M., Diliduzgun, S. and Basogul, D. (2023). Rubric for Evaluating Text Structure-Oriented Reading Tasks: A Study of Validity and Reliability . International Journal of Progressive Education, 19(2), pp. 118-134.

Chicago 16th edition
Edizer, Zeynep Cetinkaya, Melda Oryasin, Sukran Diliduzgun and Duygu Ak Basogul (2023). "Rubric for Evaluating Text Structure-Oriented Reading Tasks: A Study of Validity and Reliability ". International Journal of Progressive Education 19 (2):118-134. doi:10.29329/ijpe.2023.534.8.
References
  1. Abasıyanık, S. F.  (2012).  Son Kuşlar. İstanbul: İş Bankası Kültür Yayınları. [Google Scholar]
  2. Amanvermez İncirkuş, F. & Özçetin, K. (2021) Türkçe Ders Kitaplarındaki Metni Anlama Sorularının Eleştirel Düşünme Becerilerine Göre İncelenmesi. RumeliDE Journal of Language and Literature Studies, 22, 290-311. [Google Scholar]
  3. Anderson, L. W., Krathwohl, D. R., Airasian, P. W., Cruikshank, K. A., Mayer, R. E., Pintrich, P. R, Raths, J. & Wittrock, M. C. (2014). Öğrenme Öğretim ve Değerlendirme ile İlgili Bir Sınıflama: Bloom’un Eğitim Hedefleri ile İlgili Sınıflamasının Güncelleştirilmiş Biçimi (Trans. D. A. Özçelik) (2nd ed.). Ankara: Pegem Akademi Yayıncılık. [Google Scholar]
  4. Akyol, H., Yıldırım, K., Ateş, S. & Çetinkaya, Ç. (2013). Anlamaya Yönelik Nasıl Sorular Soruyoruz?. Mersin Üniversitesi Eğitim Fakültesi Dergisi, 9(1), 41-56.  [Google Scholar]
  5. Ateş, S. & Akyol, H. (2013). Türkçe Dersi Öğretme–Öğrenme Sürecinin Anlama Öğretimi Açısından Değerlendirilmesi. Türk Eğitim Bilimleri Dergisi, 11(3), 268-300. [Google Scholar]
  6. Ateş, S. & Yıldırım, K. (2014). Öğretmenlerin Sınıf İçi Uygulamaları: Strateji Öğretimi ve Anlama. İlköğretim Online, 13(1), 235-257.  [Google Scholar]
  7. Balcı, A. (2016). Okuma ve Anlama Eğitimi. Ankara: Pegem Yayınları. [Google Scholar]
  8. Bamberger, R. (1990). Okuma Alışkanlığını Geliştirme (Trans. B. Çapar). Ankara: Kültür Bakanlığı. [Google Scholar]
  9. Baydık, B. (2011). Okuma Güçlüğü Olan Öğrencilerin Üstbilişsel Okuma Stratejilerini Kullanımı ve Öğretmenlerinin Okuduğunu Anlama Öğretim Uygulamalarının İncelenmesi. Eğitim ve Bilim, 36(162), 301-319. [Google Scholar]
  10. Beaugrande, R. de & Dressler, W. U. (1981). Introduction to Textlinguistics. Longman: London. [Google Scholar]
  11. Bozkurt, B. Ü. (2016). Türkiye’de Okuma Eğitiminin Karnesi: PISA Ölçeğinden Çıkarımlar. Abant İzzet Baysal Üniversitesi Eğitim Fakültesi Dergisi, 16(4), 1673-1686.  [Google Scholar]
  12. Bümen, N. (2006). Üç Büyük İldeki Özel Okullarda Program Geliştirme Servislerinin Etkililiği ve Karşılaşılan Problemler. Kuram ve Uygulamada Eğitim Bilimleri, 6(3), 615-667. [Google Scholar]
  13. Büyüköztürk, Ş. (2002). Faktör Analizi: Temel Kavramlar ve Ölçek Geliştirmede Kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32, 470-483. [Google Scholar]
  14. Büyüköztürk, Ş. (2012). Örnekleme Yöntemleri. http://cv.ankara.edu.tr/duzenleme/kisisel/dosyalar/21082015162828.pdf  [Google Scholar]
  15. Büyüköztürk, Ş., Kılıç Çakmak, E. Akgün, Ö. E., Karadeniz, Ş. & Demirel, F. (2013). Bilimsel Araştırma Yöntemleri (14th ed.). Ankara: Pegem Akademi. [Google Scholar]
  16. Coşkun, E. & Alkan, M. (2010). Sınıf Öğretmenlerinin Türkçe Dersi Metin İşleme Sürecine İlişkin Bilgi Düzeylerinin Değerlendirilmesi. TÜBAR, 27, 161-184. [Google Scholar]
  17. Çetinkaya Edizer, Z., Dilidüzgün, Ş., Ak Başoğul, D., Karagöz, M. & Yücelşen, N. (2018). Türkçe Ders Kitaplarındaki Okuma Etkinliklerinde Kullanılan Üstbilişsel Okuma Stratejileri ile Okuma Yöntem-Tekniklerinin Metin Türüne Uygunluk Bağlamında Değerlendirilmesi. Adıyaman Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 10(29), 479-511. [Google Scholar]
  18. Çevik, A. & Güneş, F. (2017). Türkçe Ders Kitaplarındaki Etkinliklerin İncelenmesi. Ana Dili Eğitimi Dergisi, 5(2), 272-286. [Google Scholar]
  19. Demircan, Ö. (1990). Yabancı Dil Öğretim Yöntemleri. İstanbul: Ekin Eğitim-Yayıncılık.  [Google Scholar]
  20. Demirel, Ö. (2012). Eğitimde Program Geliştirme (18th ed.). Ankara: Pegem Akademi. [Google Scholar]
  21. Deniz, K., Tarakçı, R. & Karagöl, E. (2019). Okuma Kazanımları Açısından Ortaokul Türkçe Ders Kitapları. Ana Dili Eğitimi Dergisi, 7(3), 688-708. [Google Scholar]
  22. Dilidüzgün, Ş. (2009). Yapılandırmacı Yaklaşımla Hazırlanan İlköğretim Türkçe Öğretim Programı ve Ders Kitaplarında Metin Odaklı Görevlerin Yeri. Sakarya Üniversitesi Eğitim Fakültesi Dergisi, 17, 275-291. [Google Scholar]
  23. Dilidüzgün, Ş. (2010). Türkçe Derslerinde Metin Etkinliklerinin Okuma-Anlama Kazanımlarını Gerçekleştirme Yeterliği – Bir Öykü Örneği. Hasan Ali Yücel Eğitim Fakültesi Dergisi, 13, 13-30. [Google Scholar]
  24. Dilidüzgün, Ş. (2011). Türkçe Öğretiminde Yazın Eğitimi Bağlamında Karşılaştırmalı Metin Türü Çalışmaları. Sever, S. (Eds.) 3. Ulusal Çocuk ve Gençlik Edebiyatı Sempozyumu (Bildiriler ve Atölye Çalışmaları). Ankara: Ankara Üniversitesi Çocuk ve Gençlik Edebiyatı Uygulama ve Araştırma Merkezi. [Google Scholar]
  25. Dilidüzgün, Ş. (2013). Ortaokul Türkçe Derslerinde Oku(ma)dan Özet Yaz(ma)ya,. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 46(2), 47-68. [Google Scholar]
  26. Dilidüzgün, Ş. (2018). Metindilbilim ve Türkçe Öğretimi. İstanbul: Morpa Kültür Yayınları. [Google Scholar]
  27. Dilidüzgün, Ş., Çetinkaya Edizer, Z., Ak Başoğul, D., Oryaşın, M. & Yücelşen, N. (2019). Metin Türü Bağlamında Okuma Yöntem-Teknikleriyle Üstbilişsel Okuma Stratejilerini İlişkilendirme Çalışması. Uluslararası Türkçe Edebiyat Kültür Eğitim Dergisi, 8(3), 1796-1816. [Google Scholar]
  28. Dilidüzgün, Ş. & Genç, Ş. (2019). Ortaokul Türkçe Dersi Okuma Etkinliklerinin Okuma Eğitimi Kapsamında Metindilbilimsel Bağlamda Değerlendirilmesi. International Journal of Language Academy, 7(2), 107-126. [Google Scholar]
  29. Dilidüzgün, Ş., Karagöz, M. & Genç, Ş. (2016). Türkçe Ders Kitaplarında Yazınsal Metinleri Okuma-Anlama Etkinliklerinin Öğrenciler Üzerindeki Şiddet Etkisi. Zeitschrift für die Welt der Türken, 3, 115-137. [Google Scholar]
  30. Durmuş, B., Yurtkoru, E. S. & Çinko, M. (2011). Sosyal Bilimlerde SPSS’le Veri Analizi. İstanbul: Beta Yayıncılık. [Google Scholar]
  31. Ellis, R. (2003). Task-based language learning and teaching. Oxford: Oxford University Press. [Google Scholar]
  32. Ertem, İ. S. (2014). Okuduğunu Anlama ve Teknoloji. Ertem, İ. S. (Ed.). Okuma Yazma Eğitimi ve Teknoloji. Ankara: Nobel Yayınları. [Google Scholar]
  33. Genç, Ş. (2019). Ortaokul Türkçe Ders Kitaplarındaki Okuma Etkinliklerinin Okuma Eğitimi Yeterliği Bağlamında Metindilbilimsel Analizi (Master's thesis). İstanbul Üniversitesi-Cerrahpaşa, Lisansüstü Eğitim Enstitüsü, İstanbul. [Google Scholar]
  34. Goodrich Andrade, H. (1997). Understanding rubrics. Educational leadership, 54(4) 14-17. [Google Scholar]
  35. Grabe, W. (2002). Narrative and expository, macro-genres. John, A. M. (Ed.) Genre in The Classroom: Multiple perspectives. USA: Lawrence Erlbaum Associates. [Google Scholar]
  36. Günay, D. (2007). The exploration of Tasks in the 4th Grade ELT Coursebook Used in State Primary Schools in Turkey (Master's thesis). İstanbul Üniversitesi, Sosyal Bilimler Enstitüsü, İstanbul. [Google Scholar]
  37. Güneş, F. (2009). Hızlı Okuma ve Anlamı Yapılandırma. Ankara: Nobel Yayın Dağıtım. [Google Scholar]
  38. Harmer, J. (2007). The practice of English language teaching (4th ed.). England: Pearson Longman. [Google Scholar]
  39. Huber, E. (2008). Dilbilime Giriş. İstanbul: Multilingual. [Google Scholar]
  40. Hudson, T. (2015). Teaching Second Language Reading (10th ed.). China: Oxford University Press. [Google Scholar]
  41. Karasar, N. (2012). Bilimsel Araştırma Yöntemi (24th ed.). Ankara: Nobel Akademik Yayıncılık. [Google Scholar]
  42. Karagöz, M. & Dilidüzgün, S. (2016). Alımlama Boyutlarıyla Metin Türüne Özgü Okumalar – Öğretime İlişkin Eleştiri ve Öneriler. Dilidüzgün, S. (Ed.). Kuram ve Uygulama Bağlamında Türkçe Öğretimi (pp. 30-39). Ankara: Anı Yayıncılık. [Google Scholar]
  43. Kocaman, A. (1996). Dilbilim Söylemi. Kocaman, A., Ruhi, Ş., Zeyrek, D., Doltaş, D., Bengi- Öner, I. & Doğan, G. (Eds.). Söylem Üzerine (pp. 1-16). Ankara: Hitit Yayınevi. [Google Scholar]
  44. Larsen Freeman, D. (2001). Teaching grammar (3rd ed.). Celce-Murcia, M. (Ed.) Teaching English as a second or foreign language. Boston MA: Heinle & Heinle. [Google Scholar]
  45. Larsen Freeman, D. & Anderson, M. (2014). Dil Öğretiminde Teknik ve İlkeler (3rd ed.) (Trans. M. Calp). Ağrı: Ağrı İbrahim Çeçen Üniversitesi Yayınları. [Google Scholar]
  46. Lawshe, C. H. (1975). A quantitative approach to content validity. Personel Psychology, 28, 563-565. [Google Scholar]
  47. Lüle Mert, E. (2014). 8. Sınıf Türkçe Ders ve Çalışma Kitaplarının Üst Düzey Bilişsel Becerileri Geliştirme Yeterliliği. İşeri, K., Çetinkaya, G., Çelik, T., Demirgüneş, S., Daşöz, T. & Gençer, Y. (Eds.). Türkçe Eğitiminde Kuramsal ve Uygulamalı Çalışmalar (pp. 145-158). Ankara: Pegem Yayınları. [Google Scholar]
  48. McCarthy, M. & Carter, R. (1994). Language as discourse, perspectives for language teaching. USA: Routledge. [Google Scholar]
  49. MEB (2005). İlköğretim Türkçe Dersi Öğretim Programı ve Kılavuzu (1-5. Sınıflar). Ankara: Devlet Kitapları Müdürlüğü Basımevi.  [Google Scholar]
  50. MEB (2019a). Türkçe Dersi Öğretim Programı (İlkokul ve Ortaokul 1, 2, 3, 4, 5, 6, 7 ve 8. Sınıflar). Ankara: Devlet Kitapları Müdürlüğü Basımevi. [Google Scholar]
  51. MEB (2019b). Akademik Becerilerin İzlenmesi ve Değerlendirilmesi 8. Sınıf Raporu. Ankara: MEB Yayınları. [Google Scholar]
  52. https://nevsehirodm.meb.gov.tr/meb_iys_dosyalar/2019_07/02153549_24142454_ABYDE_8_2018_Raporu.pdf [Google Scholar]
  53. Miles, M, B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded Sourcebook. (2nd ed.). Thousand Oaks, CA: Sage. [Google Scholar]
  54. Moskal, B. M. (2000). Scoring rubric: what, when and how? Practical Assessment, Research & Evaluation, 7(3), 1-5. [Google Scholar]
  55. Moskal, B., & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Reseach & Evaluation, 7(10), 71-81. [Google Scholar]
  56. OECD (2010). PISA 2009 results: What students know and can do. http://www.oecd.org/dataoecd/10/61/48852548.pdf [Google Scholar]
  57. OECD (2019). How does PISA define and measure reading literacy? [Google Scholar]
  58. https://www.oecd.org/pisa/pisa-for-development/8%20-%20How%20PISA-D%20measures%20reading%20literacy.pdf [Google Scholar]
  59. Sallabaş, M. E. & Yılmaz, G. (2020). Türkçe Ders Kitabı’nda Bulunan Metin Altı Sorularının Yenilenmiş Bloom Taksonomisi’ne Göre İncelenmesi. Ana Dili Eğitimi Dergisi, 8(2), 586-596.  [Google Scholar]
  60. Shokouhi, H. & Jamali, R. (2013). Metacognitive reading strategies and the text type. Shahid Beheshti University: Deakin University’s Research Repository. [Google Scholar]
  61. Şenyapılı, Ö. (1981). Toplum ve İletişim. Ankara: Turhan Yayınları. [Google Scholar]
  62. Uzun Subaşı, L. (2006). Öğrencilerin Yazılı Anlatım Sürecindeki Metinleştirme Sorunları. II. Ulusal Çocuk ve Gençlik Edebiyatı Sempozyumu Bildirileri (pp. 693-701). Ankara Üniversitesi, Eğitim Bilimleri Fakültesi, Ankara. [Google Scholar]
  63. Uzun, G. L. (2009). Yaratıcı Bir Süreç Olarak Okuma, Dil Dergisi, 143, 007-019.   [Google Scholar]
  64. Van Dijk, T. A. & Kintsch W. (1983). Strategies of discourse comprehension. Orlando, Florida: Academic Press, Inc.  [Google Scholar]
  65. Veli, O. (1953). Bütün Şiirleri. İstanbul: Adam Yayınları. [Google Scholar]
  66. Veneziano L. & Hooper J. (1997). A method for quantifying content validity of health-related questionnaires. American Journal of Health Behavior, 21(1), s. 67-70. [Google Scholar]
  67. Willis, J. (1996). A Framework for task-based learning. Longman. Essex. [Google Scholar]
  68. Willis, J. R. (2004). Perspectives on task-based instruction: undertaking our practices, acknowledging different practitioners. Leaver, B. L. & Willis, J. R. (Eds.). Task-based instruction in foreign language education. Washington, D.C.: Georgetown University Press.  [Google Scholar]
  69. Yaylı, D. & Yavuz, M. A. (2008). Göreve Dayalı Öğrenme Yönteminin Yabancı Dil Olarak Türkçe Öğretimine Uygulanmasına İlişkin Sorunlar. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 2(24), 58-68. [Google Scholar]
Download
Metric
History
Related

Volume 19 Issue 2

April 2023

All Articles

International Journal of Progressive Education

International Association of Educators.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License.
Privacy policy     |     Terms of Use     |     Use of Cookies
Creative Commons Lisansı
© 2012 - 2024 - THDSoft e-Journal Management System.