International Journal of Progressive Education
ISSN (Print): 2834-7919 - ISSN (Online): 1554-5210

Research article    |    Open Access
International Journal of Progressive Education 2021, Vol. 17(2) 385-405

An Overview of Writing Rubrics in Doctoral Dissertations in Turkey

Gökhan Arı

pp. 385 - 405   |  DOI: https://doi.org/10.29329/ijpe.2021.332.24

Publish Date: April 07, 2021  |   Single/Total View: 180/730   |   Single/Total Download: 254/1.186

PDF Download

Abstract

Writing rubrics have been used in doctoral dissertations in Turkey to assess student writing for nearly twenty years. This study aims to determine which features are assessed in the rubrics used in doctoral dissertations. Twenty-five rubrics were selected to determine the analysis of validity and reliability, rubric dimensions, features of criterion descriptions, and performance levels. The results showed that researchers did not attach much importance to the validity of rubrics, and some studies provided insufficient information about reliability. Rubrics typically have three and five performance levels. As a result of the content analysis based on the descriptions, nine categories (genre-oriented content, organization, style, presentation, mechanics, vocabulary, sentences, textuality, process) and 104 features were identified. The frequency of these features was 567. According to the emerging categorization in the present study, we observed that the rubrics used in doctoral dissertations were similar to the criteria in the 6 +1 Trait Writing Model. However, the descriptions were found to be more straightforward and concise. The features in the rubrics were similar to one another yet differed depending on the purpose, type, and length of descriptions. Some of the rubrics had descriptions that were ill-suited to the nature of the rubric. The results were discussed, presenting recommendations.

Keywords: Writing Assessment, Writing Rubrics, Features of Criteria

How to Cite this Article?

APA 7th edition
Ari, G. (2021). An Overview of Writing Rubrics in Doctoral Dissertations in Turkey. International Journal of Progressive Education, 17(2), 385-405. https://doi.org/10.29329/ijpe.2021.332.24

Harvard
Ari, G. (2021). An Overview of Writing Rubrics in Doctoral Dissertations in Turkey. International Journal of Progressive Education, 17(2), pp. 385-405.

Chicago 16th edition
Ari, Gokhan (2021). "An Overview of Writing Rubrics in Doctoral Dissertations in Turkey". International Journal of Progressive Education 17 (2):385-405. https://doi.org/10.29329/ijpe.2021.332.24

References
  1. Arı, G. (2008). Öğrencilerin hikâye edici metinlerinin çözümleyici puanlama yönergesine göre değerlendirilmesi (6. ve 7. sınıf örneği). İstanbul: Marmara Üniversitesi yayımlanmamış doktora tezi [Google Scholar]
  2. Arı, G. (2015). Yaratıcı yazma. Üstün zekalı ve üstün yetenekli öğrencilerin eğitimi. (ed. F. Şahin), pp. 127-172. Ankara: Pegem Akademi. [Google Scholar]
  3. Arı, G., & Keray, B. (2012). Sekizinci sınıf öğrencilerinin noktalama işaretlerini uygulama düzeyi. Electronic Journal of Social Sciences, 11(42), 40-54. [Google Scholar]
  4. Babin, E., & Harrison K. (1999). Contemporary composition studies a guide to theorist & terms. Portsmouth: Grenwood Publishing. [Google Scholar]
  5. Bağcı, H. (2011). Sekizinci sınıf öğrencilerinin noktalama işaretleri ile yazım kurallarını uygulayabilme düzeyi. Turkish Studies, 6(1), 672-684. [Google Scholar]
  6. Behizadeh, N., & Engelhard Jr, G. (2011). Historical view of the influences of measurement and writing theories on the practice of writing assessment in the United States. Assessing Writing, 16(3), 189-211. [Google Scholar]
  7. Beyreli, L., & Arı, G. (2009). The use of analytic rubric in the assessment of writing performance-ınter-rater concordance study. Educational Sciences: Theory and Practice, 9(1), 105-125. [Google Scholar]
  8. Brookhart, S. M. (2018). Appropriate criteria: key to effective rubrics. In Frontiers in Education (Vol. 3, p. 22). Frontiers. https://doi.org/10.3389/feduc.2018.00022 [Google Scholar] [Crossref] 
  9. Brualdi, A. (2002). Implementing performance assessment in the classroom. İn Understanding scoring rubrics a guide for teachers, ed. C. Boston, (pp.1-4). Washington: Office of Educational Research and Improvement. [Google Scholar]
  10. Chan, Z., & Ho, S. (2019). Good and bad practices in rubrics: The perspectives of students and educators. Assessment & Evaluation in Higher Education, 44(4), 533-545. https://doi.org/10.1080/02602938.2018.1522528 [Google Scholar] [Crossref] 
  11. Coşkun, E. (2005). İlköğretim öğrencilerinin öyküleyici anlatımlarında bağdaşıklık, tutarlılık ve metin elementleri. Ankara: Gazi Üniversitesi Eğitim Bilimleri Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  12. Creehan, K. (1997). A discussion of analytic scoring for writing performance assessment. In Annual Meeting of the Arizona Educational Research Association, Phoenix, (ERIC Document Reproduction Service No. ED 414336). [Google Scholar]
  13. Çakın, N. (1966). Yazma yolu üzerine. Türk Dili, 175, 489-490. [Google Scholar]
  14. Deniz, K. (2000). Yazılı anlatım becerileri bakımından köy ve kent beşinci sınıf öğrencilerinin durumu. Çanakkale: Çanakkale Onsekiz Mart Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  15. Duman, A. (1997). Üniversitelerin Türk dili ve edebiyatı bölümleri dışındaki bölümlerinde Türkçenin eğitimi ve öğretimi. Ankara: Gazi Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmış doktora tezi. [Google Scholar]
  16. Eckes, T. (2008). Rater types in writing performance assessments: A classification approach to rater variability. Language Testing, 25(2), 155-185. [Google Scholar]
  17. Elbow, P. (2000). Everyone can write essays toward a hopeful theory of writing and teaching writing. New York: Oxford Universiy Press. [Google Scholar]
  18. Enginarlar, H. (1990). A contrastive analysis of writing in Turkish and English of Turkish high school students. Ankara: Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  19. Erdiken, B. (1989). Eskişehir sağırlar okulu ve Anadolu Üniversitesi İÇEM’de ortaokul sınıflarına devam eden 13-14 yaş işitme engelli öğrencilerin yazılı anlatım becerilerinin betimlenmesi. Eskişehir: Anadolu Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi [Google Scholar]
  20. Erdiken, B. (1996). Anadolu Üniversitesi İÇEM lise düzeyindeki işitme engelli öğrencilerin yazılı anlatım becerilerinin geliştirilmesinde işbirliği-gözlem yöntemi ile anlatım yönteminin karşılaştırılması. Eskişehir: Anadolu Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  21. Faigley, L., Cherry, R. D., Jolliffe, D., & Skinner, A. (1985). Assessing writers: Knowledge and processes of composing. Norwood: Ablex. [Google Scholar]
  22. Flynn Jr, J. E., Tenam-Zemach, M., & Burns, L. D. (2015). Introduction: Why a book on rubrics? Problematizing the unquestioned. Rubric nation: Critical inquiries on the impacts of rubrics in education, pp. xi-xxx. Charlotte: Information Age Publishing. [Google Scholar]
  23. Glass, K. T. (2005). Curriculum design for writing instruction. California: Corwin Press. [Google Scholar]
  24. Gottlieb, D., & Moroye, C. M. (2016). The perceptive imperative: Connoisseurship and the temptation of rubrics. Journal of Curriculum and Pedagogy, 13(2), 104-120. https://doi.org/10.1080/15505170.2016.1191389 [Google Scholar] [Crossref] 
  25. Göğüş, B. (1971). Ana dili olarak Türkçenin öğretimine tarihsel bir bakış. TDAY-Belleten 1970, 123-154. [Google Scholar]
  26. Göğüş, B. (1978). Orta dereceli okullarımızda Türkçe ve yazın eğitimi. Ankara: Gül [Google Scholar]
  27. Göğüş, B., Yücesan, S. (1988). Uluslararası Anadili Eğitim Örgütü Çalışmaları çerçevesinde Türkiye'de bir Türkçe eğitimi portresi. Ankara: Rehber. [Google Scholar]
  28. Grabe, W., & Kaplan, R. B. (1996). Theory & practice of writing. New York: Longman. [Google Scholar]
  29. Graham, S., Harris, K., and Hebert, M. A. (2011). Informing writing: The benefits of formative assessment. A Carnegie Corporation Time to Act report. Washington, DC: Alliance for Excellent Education. [Google Scholar]
  30. Graham, S., Hebert, M. A., Harris, K. (2015). Formative assessment and writing: A meta-analysis. The Elementary School Journal, 115(4), 523–547. https://doi.org/10.1086/681947 [Google Scholar] [Crossref] 
  31. Gunning, T. G. (2006). Assessing and correcting reading and writing difficulties. Boston: Pearson Education Inc., 3. edition [Google Scholar]
  32. Hodges, T. S., Wright, K. L., Wind, S. A., Matthews, S. D., Zimmer, W. K., & McTigue, E. (2019). Developing and examining validity evidence for the writing rubric to ınform teacher educators (WRITE). Assessing Writing, 40, 1-13. https://doi.org/10.1016/j.asw.2019.03.001 [Google Scholar] [Crossref] 
  33. Humphry, S. M., & Heldsinger, S. A. (2014). Common structural design features of rubrics may represent a threat to validity. Educational Researcher, 43(5), 253–263. doi:10.3102/0013189x14542154 [Google Scholar] [Crossref] 
  34. Huot, B. (1990). The literature of direct writing assessment: Major concerns and prevailing trends. Review of Educational Research, 60(2), 237-263. [Google Scholar]
  35. Huot, B. (2002). Rearticulating writing assessment for teaching and learning. Logan: All USU Press Publications. (https://digitalcommons.usu.edu/usupress_pubs/137) [Google Scholar]
  36. Jokobson, J. R. (2005). Six traits writing using literature as a model. Books Links, 14(5), 44-47. [Google Scholar]
  37. Karagül, S. (2010). İlköğretim 6-8. sınıf öğrencilerinin Türkçe Dersi Öğretim Programı’nda belirtilen yazım ve noktalama kurallarını uygulayabilme düzeyi. İzmir: Dokuz Eylül Üniversitesi yayımlanmamış yüksek lisans tezi. [Google Scholar]
  38. Knoch, U. (2011). Rating scales for diagnostic assessment of writing: What should they look like and where should the criteria come from?. Assessing Writing, 16(2), 81-96. [Google Scholar]
  39. Knoch, U. (2009). Diagnostic writing assessment: The development and validation of a rating scale. Frankturt: Peter Lang. [Google Scholar]
  40. Levend, A. S. (1954). Ana dilini doğru yazma geleneği bizde niçin yoktur? Türk Dili, 29, 251-253. [Google Scholar]
  41. Li, J., & Lindsey, P. (2015). Understanding variations between student and teacher application of rubrics. Assessing Writing, 26, 67-79. doi:10.1016/j.asw.2015.07.003 [Google Scholar] [Crossref] 
  42. Mao, L., Liu, O. L., Roohr, K., Belur, V., Mulholland, M., Lee, H. S., & Pallant, A. (2018). Validation of automated scoring for a formative assessment that employs scientific argumentation. Educational Assessment, 23(2), 121-138. https://doi.org/10.1080/10627197.2018.1427570 [Google Scholar] [Crossref] 
  43. Martin-Kniep, G. O. (2000). Becoming a beter teacher: Eight innovations that work. Alexandria: Association for Supervision & Curriculum Development. [Google Scholar]
  44. MEB (2006). İlköğretim Türkçe Dersi (6, 7, 8. Sınıflar) Öğretim Programı. Ankara: MEB. [Google Scholar]
  45. Moskal, B. M., & Leydens, J. A. (2000). Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation, 7(10). [Google Scholar]
  46. Nordrum, L., Evans, K., & Gustafsson, M. (2013). Comparing student learning experiences of in-text commentary and rubric-articulated feedback: strategies for formative assessment. Assessment & Evaluation in Higher Education, 38(8), 919-940. DOI:10.1080/02602938.2012.758229 [Google Scholar]
  47. O’Neill, P., Moore, C., & Huot, B.(2009). A guide to college writing assessment. Logan: Utah State University Press. [Google Scholar]
  48. Özbay, M. (1995). Ankara merkez ortaokullarındaki üçüncü sınıf öğrencilerinin yazılı anlatım becerileri üzerine bir araştırma. Ankara: Gazi Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmış doktora tezi. [Google Scholar]
  49. Özdemir, E. (1983). Ana dili öğretimi. Türk Dili, 379/380, 18-30. [Google Scholar]
  50. Pehlivan, A. (1994). Kuzey Kıbrıs Türk Cumhuriyeti ilkokul öğrencilerinin yazılı anlatımlarında görülen özellikler. Ankara: Ankara Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  51. Popham, W. J. (1997). What’s wrong and what’s right with rubrics? Educational Leadership, 55(2), 72-75. [Google Scholar]
  52. Popham, W. J. (2000). Modern educational measurement: Practical guidelines for educational leaders. Boston: Allyn & Bacon. [Google Scholar]
  53. Rahimi, Z., Litman, D., Correnti, R., Wang, E., & Matsumura, L. C. (2017). Assessing students’ use of evidence and organization in response-to-text writing: Using natural language processing for rubric-based automated scoring. International Journal of Artificial Intelligence in Education, 27(4), 694-728. https://doi.org/10.1007/s40593-017-0143-2 [Google Scholar] [Crossref] 
  54. Rankin, A. D. (2015). A comparability study on differences between scores of handwritten and typed responses on a large-scale writing assessment. The University of Iowa unpublished doctoral dissertation [Google Scholar]
  55. Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. [Google Scholar]
  56. Sarıca, H. Ç., & Usluel, Y. K. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi Kuram ve Uygulama, 6(2), 65-84. https://doi.org/10.17943/etku.12600 [Google Scholar] [Crossref] 
  57. Schoonen, R. (2005). Generalizability of writing scores: An application of structural equation modeling. Language Testing, 22(1), 1-30. [Google Scholar]
  58. Sever, S. (1993). Türkçe öğretiminde uygulanan tam öğrenme kuramı ilkelerinin, öğrencilerin okuduğunu anlama ve yazılı anlatım becerilerindeki erişiye etkisi. Ankara: Ankara Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  59. Sezer, S. (2005). Öğrencilerin akademik başarısının belirlenmesinde tamamlayıcı değerlendirme aracı olarak rubrik kullanımı üzerinde bir araştırma. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 18, 72-84. [Google Scholar]
  60. Shermis, M. D., Lottridge, S., & Mayfield, E. (2015). The impact of anonymization for automated essay scoring. Journal of Educational Measurement, 52(4), 419-436. https://doi.org/10.1111/jedm.12093 [Google Scholar] [Crossref] 
  61. Spandel, V. (1997). A handbook for parents of 6 trait writing students. Portland: Northwest Regional Educational Laboratory. [Google Scholar]
  62. Süğümlü, Ü. (2020). Ortaokul öğrencilerinin yazma çalışmalarındaki yazım ve noktalama hatalarının belirlenmesi. Ana Dili Eğitimi Dergisi, 8(2), 528-542. doi.org/10.16916/aded.706748 [Google Scholar]
  63. Şengiz, S. (1976). Öğrenci kompozisyonları. Türk Dili, 303, 745-747. [Google Scholar]
  64. Şimşek, Ö. (2000). İlköğretim 4. ve 5. sınıf öğrencilerinin yazılı anlatım becerilerinin incelenmesi ve bilgisayar destekli yazılı anlatım. İstanbul: Marmara Üniversitesi Eğitim Bilimleri Enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  65. Şimşek, R. (1983). Çağdaş eğitimde anadilinin yeri. Türk Dili, 379/380, 36-39. [Google Scholar]
  66. Tekşan, K. (2001): Yazılı anlatımı geliştirmede ön hazırlığın etkisi. Çanakkale: Çanakkale Onsekiz Mart Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  67. Temur, T. (2001). İlköğretim 5. sınıf öğrencilerinin yazılı anlatım becerilerinin beceri düzeyleri ile okul başarıları arasındaki ilişki. Ankara üniversitesi sosyal bilimler enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  68. Weigle, S. C. (2002). Assessing writing. Cambridge University Press. [Google Scholar]
  69. White, E. M. (1985). Teaching and assessing: Recent advances in understanding evaluating and improving student performance. San Francisco: Jossey-Bass. [Google Scholar]
  70. Wilson, M. (2006). Rethinking rubrics in writing assessment. Portsmouth: Heinemann [Google Scholar]
  71. Wind, S. A. (2020). Do raters use rating scale categories consistently across analytic rubric domains in writing assessment?. Assessing Writing, 43, 100416. https://doi.org/10.1016/j.asw.2019.100416 [Google Scholar] [Crossref] 
Meta
Vol. 17 (2)
Download
Metric
History
Related

Volume 17 Issue 2

April 2021

All Manuscript

International Journal of Progressive Education

Copyright © 2025 International Journal of Progressive Education.
This work is licensed under a Creative Commons Attribution 4.0 International License. CC BY
All elements of this website were created using the BOQ™ - Intelligent Webverse System.