International Association of Educators   |  ISSN: 2834-7919   |  e-ISSN: 1554-5210
International Journal of Progressive Education
International Association of Educators

Original article | International Journal of Progressive Education 2021, Vol. 17(2) 385-405

An Overview of Writing Rubrics in Doctoral Dissertations in Turkey

Gökhan Arı

pp. 385 - 405   |  DOI: https://doi.org/10.29329/ijpe.2021.332.24   |  Manu. Number: MANU-2010-19-0010

Published online: April 07, 2021  |   Number of Views: 174  |  Number of Download: 586

Save PDF

Abstract

Writing rubrics have been used in doctoral dissertations in Turkey to assess student writing for nearly twenty years. This study aims to determine which features are assessed in the rubrics used in doctoral dissertations. Twenty-five rubrics were selected to determine the analysis of validity and reliability, rubric dimensions, features of criterion descriptions, and performance levels. The results showed that researchers did not attach much importance to the validity of rubrics, and some studies provided insufficient information about reliability. Rubrics typically have three and five performance levels. As a result of the content analysis based on the descriptions, nine categories (genre-oriented content, organization, style, presentation, mechanics, vocabulary, sentences, textuality, process) and 104 features were identified. The frequency of these features was 567. According to the emerging categorization in the present study, we observed that the rubrics used in doctoral dissertations were similar to the criteria in the 6 +1 Trait Writing Model. However, the descriptions were found to be more straightforward and concise. The features in the rubrics were similar to one another yet differed depending on the purpose, type, and length of descriptions. Some of the rubrics had descriptions that were ill-suited to the nature of the rubric. The results were discussed, presenting recommendations.

Keywords: Writing Assessment, Writing Rubrics, Features of Criteria

How to Cite this Article?

APA 6th edition
Ari, G. (2021). An Overview of Writing Rubrics in Doctoral Dissertations in Turkey . International Journal of Progressive Education, 17(2), 385-405. doi: 10.29329/ijpe.2021.332.24

Harvard
Ari, G. (2021). An Overview of Writing Rubrics in Doctoral Dissertations in Turkey . International Journal of Progressive Education, 17(2), pp. 385-405.

Chicago 16th edition
Ari, Gokhan (2021). "An Overview of Writing Rubrics in Doctoral Dissertations in Turkey ". International Journal of Progressive Education 17 (2):385-405. doi:10.29329/ijpe.2021.332.24.
References
  1. Arı, G. (2008). Öğrencilerin hikâye edici metinlerinin çözümleyici puanlama yönergesine göre değerlendirilmesi (6. ve 7. sınıf örneği). İstanbul: Marmara Üniversitesi yayımlanmamış doktora tezi [Google Scholar]
  2. Arı, G. (2015). Yaratıcı yazma. Üstün zekalı ve üstün yetenekli öğrencilerin eğitimi. (ed. F. Şahin), pp. 127-172. Ankara: Pegem Akademi. [Google Scholar]
  3. Arı, G., & Keray, B. (2012). Sekizinci sınıf öğrencilerinin noktalama işaretlerini uygulama düzeyi. Electronic Journal of Social Sciences, 11(42), 40-54. [Google Scholar]
  4. Babin, E., & Harrison K. (1999). Contemporary composition studies a guide to theorist & terms. Portsmouth: Grenwood Publishing. [Google Scholar]
  5. Bağcı,  H.  (2011).  Sekizinci  sınıf  öğrencilerinin  noktalama  işaretleri  ile  yazım  kurallarını uygulayabilme düzeyi. Turkish Studies, 6(1), 672-684. [Google Scholar]
  6. Behizadeh, N., & Engelhard Jr, G. (2011). Historical view of the influences of measurement and writing theories on the practice of writing assessment in the United States. Assessing Writing, 16(3), 189-211. [Google Scholar]
  7. Beyreli, L., & Arı, G. (2009). The use of analytic rubric in the assessment of writing performance-ınter-rater concordance study. Educational Sciences: Theory and Practice, 9(1), 105-125. [Google Scholar]
  8. Brookhart, S. M. (2018). Appropriate criteria: key to effective rubrics. In Frontiers in Education (Vol. 3, p. 22). Frontiers. https://doi.org/10.3389/feduc.2018.00022 [Google Scholar] [Crossref] 
  9. Brualdi,  A.  (2002). Implementing  performance  assessment  in  the  classroom. İn Understanding  scoring  rubrics  a  guide  for  teachers,  ed.  C.  Boston, (pp.1-4). Washington: Office of Educational Research and Improvement.  [Google Scholar]
  10. Chan, Z., & Ho, S. (2019). Good and bad practices in rubrics: The perspectives of students and educators. Assessment & Evaluation in Higher Education, 44(4), 533-545. https://doi.org/10.1080/02602938.2018.1522528 [Google Scholar] [Crossref] 
  11. Coşkun,  E. (2005).  İlköğretim  öğrencilerinin  öyküleyici  anlatımlarında bağdaşıklık,  tutarlılık  ve  metin  elementleri.  Ankara:  Gazi  Üniversitesi  Eğitim Bilimleri Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  12. Creehan, K. (1997). A discussion of analytic scoring for writing performance assessment. In Annual Meeting of the Arizona Educational Research Association, Phoenix, (ERIC Document Reproduction Service No. ED 414336).  [Google Scholar]
  13. Çakın, N. (1966). Yazma yolu üzerine. Türk Dili, 175, 489-490. [Google Scholar]
  14. Deniz,  K. (2000).  Yazılı  anlatım  becerileri  bakımından  köy  ve  kent  beşinci sınıf  öğrencilerinin  durumu.  Çanakkale:  Çanakkale  Onsekiz  Mart  Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  15. Duman, A. (1997). Üniversitelerin Türk dili ve edebiyatı bölümleri dışındaki bölümlerinde Türkçenin eğitimi ve öğretimi. Ankara: Gazi Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmış doktora tezi. [Google Scholar]
  16. Eckes, T. (2008). Rater types in writing performance assessments: A classification approach to rater variability. Language Testing, 25(2), 155-185. [Google Scholar]
  17. Elbow, P. (2000). Everyone can write essays toward a hopeful theory of writing and teaching writing. New York: Oxford Universiy Press. [Google Scholar]
  18. Enginarlar, H. (1990). A contrastive analysis of writing in Turkish and English of Turkish high school students. Ankara: Hacettepe Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  19. Erdiken, B. (1989). Eskişehir sağırlar okulu ve Anadolu Üniversitesi İÇEM’de ortaokul sınıflarına devam eden 13-14 yaş işitme engelli öğrencilerin yazılı anlatım becerilerinin betimlenmesi. Eskişehir: Anadolu Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi [Google Scholar]
  20. Erdiken, B. (1996). Anadolu Üniversitesi İÇEM lise düzeyindeki işitme engelli öğrencilerin yazılı anlatım becerilerinin geliştirilmesinde işbirliği-gözlem yöntemi ile anlatım yönteminin karşılaştırılması. Eskişehir: Anadolu Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış doktora tezi. [Google Scholar]
  21. Faigley,  L.,  Cherry,  R. D., Jolliffe, D., & Skinner,  A. (1985). Assessing writers: Knowledge and processes of composing. Norwood: Ablex. [Google Scholar]
  22. Flynn Jr, J. E., Tenam-Zemach, M., & Burns, L. D. (2015). Introduction: Why a book on rubrics? Problematizing the unquestioned. Rubric nation: Critical inquiries on the impacts of rubrics in education, pp. xi-xxx.  Charlotte: Information Age Publishing. [Google Scholar]
  23. Glass, K. T. (2005). Curriculum design for writing instruction. California: Corwin Press. [Google Scholar]
  24. Gottlieb, D., & Moroye, C. M. (2016). The perceptive imperative: Connoisseurship and the temptation of rubrics. Journal of Curriculum and Pedagogy, 13(2), 104-120. https://doi.org/10.1080/15505170.2016.1191389 [Google Scholar] [Crossref] 
  25. Göğüş, B. (1971). Ana dili olarak Türkçenin öğretimine tarihsel bir bakış. TDAY-Belleten 1970, 123-154.  [Google Scholar]
  26. Göğüş, B. (1978). Orta  dereceli  okullarımızda Türkçe  ve  yazın  eğitimi.  Ankara: Gül  [Google Scholar]
  27. Göğüş, B., Yücesan, S. (1988).  Uluslararası Anadili Eğitim Örgütü Çalışmaları çerçevesinde Türkiye'de bir Türkçe eğitimi portresi. Ankara: Rehber. [Google Scholar]
  28. Grabe,  W., & Kaplan,  R. B. (1996). Theory  &  practice  of  writing.  New  York: Longman. [Google Scholar]
  29. Graham, S., Harris, K., and Hebert, M. A. (2011). Informing writing: The benefits of formative assessment. A Carnegie Corporation Time to Act report. Washington, DC: Alliance for Excellent Education. [Google Scholar]
  30. Graham, S., Hebert, M. A., Harris, K. (2015). Formative assessment and writing: A meta-analysis. The Elementary School Journal, 115(4), 523–547. https://doi.org/10.1086/681947 [Google Scholar] [Crossref] 
  31. Gunning, T. G. (2006). Assessing and correcting reading and writing difficulties. Boston: Pearson Education Inc., 3. edition [Google Scholar]
  32. Hodges, T. S., Wright, K. L., Wind, S. A., Matthews, S. D., Zimmer, W. K., & McTigue, E. (2019). Developing and examining validity evidence for the writing rubric to ınform teacher educators (WRITE). Assessing Writing, 40, 1-13. https://doi.org/10.1016/j.asw.2019.03.001 [Google Scholar] [Crossref] 
  33. Humphry, S. M., & Heldsinger, S. A. (2014). Common structural design features of rubrics may represent a threat to validity. Educational Researcher, 43(5), 253–263. doi:10.3102/0013189x14542154 [Google Scholar] [Crossref] 
  34. Huot, B. (1990). The literature of direct writing assessment: Major concerns and prevailing trends. Review of Educational Research, 60(2), 237-263. [Google Scholar]
  35. Huot, B. (2002). Rearticulating writing assessment for teaching and learning. Logan: All USU Press Publications. (https://digitalcommons.usu.edu/usupress_pubs/137) [Google Scholar]
  36. Jokobson, J. R. (2005). Six traits writing using literature as a model. Books Links, 14(5), 44-47. [Google Scholar]
  37. Karagül, S. (2010). İlköğretim 6-8. sınıf öğrencilerinin Türkçe Dersi Öğretim Programı’nda belirtilen yazım ve noktalama kurallarını uygulayabilme düzeyi. İzmir: Dokuz Eylül Üniversitesi yayımlanmamış yüksek lisans tezi. [Google Scholar]
  38. Knoch, U. (2011). Rating scales for diagnostic assessment of writing: What should they look like and where should the criteria come from?. Assessing Writing, 16(2), 81-96. [Google Scholar]
  39. Knoch, U. (2009). Diagnostic writing assessment: The development and validation of a rating scale. Frankturt: Peter Lang. [Google Scholar]
  40. Levend, A. S. (1954). Ana dilini doğru yazma geleneği bizde niçin yoktur? Türk Dili, 29, 251-253. [Google Scholar]
  41. Li, J., & Lindsey, P. (2015). Understanding variations between student and teacher application of rubrics. Assessing Writing, 26, 67-79. doi:10.1016/j.asw.2015.07.003  [Google Scholar] [Crossref] 
  42. Mao, L., Liu, O. L., Roohr, K., Belur, V., Mulholland, M., Lee, H. S., & Pallant, A. (2018). Validation of automated scoring for a formative assessment that employs scientific argumentation. Educational Assessment, 23(2), 121-138. https://doi.org/10.1080/10627197.2018.1427570 [Google Scholar] [Crossref] 
  43. Martin-Kniep,  G. O.  (2000). Becoming  a  beter  teacher:  Eight  innovations  that work. Alexandria: Association for Supervision & Curriculum Development. [Google Scholar]
  44. MEB (2006). İlköğretim Türkçe Dersi (6, 7, 8. Sınıflar) Öğretim Programı. Ankara: MEB. [Google Scholar]
  45. Moskal, B. M., &  Leydens, J.  A. (2000).  Scoring  rubric  development:  Validity and  reliability.  Practical  Assessment,  Research  &  Evaluation,  7(10).  [Google Scholar]
  46. Nordrum, L., Evans, K., & Gustafsson, M. (2013). Comparing student learning experiences of in-text commentary and rubric-articulated feedback: strategies for formative assessment. Assessment & Evaluation in Higher Education, 38(8), 919-940. DOI:10.1080/02602938.2012.758229 [Google Scholar]
  47. O’Neill, P., Moore, C., & Huot, B.(2009). A guide to college writing assessment. Logan: Utah State University Press. [Google Scholar]
  48. Özbay,  M.  (1995).  Ankara  merkez  ortaokullarındaki  üçüncü  sınıf  öğrencilerinin yazılı anlatım becerileri üzerine bir araştırma. Ankara: Gazi Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmış doktora tezi. [Google Scholar]
  49. Özdemir, E. (1983). Ana dili öğretimi. Türk Dili, 379/380, 18-30. [Google Scholar]
  50. Pehlivan, A. (1994). Kuzey Kıbrıs Türk Cumhuriyeti ilkokul öğrencilerinin yazılı anlatımlarında görülen özellikler. Ankara: Ankara Üniversitesi Sosyal Bilimler Enstitüsü yayımlanmamış yüksek lisans tezi. [Google Scholar]
  51. Popham, W. J. (1997). What’s wrong and what’s right with rubrics? Educational Leadership, 55(2), 72-75. [Google Scholar]
  52. Popham, W. J. (2000). Modern educational measurement: Practical guidelines for educational leaders. Boston: Allyn & Bacon. [Google Scholar]
  53. Rahimi, Z., Litman, D., Correnti, R., Wang, E., & Matsumura, L. C. (2017). Assessing students’ use of evidence and organization in response-to-text writing: Using natural language processing for rubric-based automated scoring. International Journal of Artificial Intelligence in Education, 27(4), 694-728. https://doi.org/10.1007/s40593-017-0143-2 [Google Scholar] [Crossref] 
  54. Rankin, A. D. (2015). A comparability study on differences between scores of handwritten and typed responses on a large-scale writing assessment. The University of Iowa unpublished doctoral dissertation [Google Scholar]
  55. Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. [Google Scholar]
  56. Sarıca, H. Ç., & Usluel, Y. K. (2016). Eğitsel bağlamda dijital hikâye anlatımı: bir rubrik geliştirme çalışması. Eğitim Teknolojisi Kuram ve Uygulama, 6(2), 65-84. https://doi.org/10.17943/etku.12600 [Google Scholar] [Crossref] 
  57. Schoonen, R. (2005). Generalizability of writing scores: An application of structural equation modeling. Language Testing, 22(1), 1-30. [Google Scholar]
  58. Sever, S. (1993). Türkçe öğretiminde uygulanan tam öğrenme kuramı ilkelerinin, öğrencilerin okuduğunu anlama ve yazılı anlatım becerilerindeki erişiye etkisi. Ankara:  Ankara  Üniversitesi  Sosyal  Bilimler  Enstitüsü  yayımlanmamış  doktora tezi. [Google Scholar]
  59. Sezer, S. (2005). Öğrencilerin  akademik  başarısının  belirlenmesinde  tamamlayıcı değerlendirme  aracı  olarak  rubrik  kullanımı  üzerinde  bir  araştırma. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 18, 72-84. [Google Scholar]
  60. Shermis, M. D., Lottridge, S., & Mayfield, E. (2015). The impact of anonymization for automated essay scoring. Journal of Educational Measurement, 52(4), 419-436. https://doi.org/10.1111/jedm.12093 [Google Scholar] [Crossref] 
  61. Spandel, V. (1997). A  handbook  for  parents  of  6  trait  writing  students.  Portland: Northwest Regional Educational Laboratory. [Google Scholar]
  62. Süğümlü, Ü. (2020). Ortaokul öğrencilerinin yazma çalışmalarındaki yazım ve noktalama hatalarının belirlenmesi. Ana Dili Eğitimi Dergisi, 8(2), 528-542. doi.org/10.16916/aded.706748 [Google Scholar]
  63. Şengiz, S. (1976). Öğrenci kompozisyonları. Türk Dili, 303, 745-747. [Google Scholar]
  64. Şimşek,  Ö. (2000).  İlköğretim 4.  ve  5.  sınıf  öğrencilerinin  yazılı  anlatım becerilerinin  incelenmesi  ve  bilgisayar  destekli  yazılı  anlatım.  İstanbul: Marmara  Üniversitesi  Eğitim  Bilimleri  Enstitüsü  yayımlanmamış  yüksek  lisans tezi. [Google Scholar]
  65. Şimşek, R. (1983). Çağdaş eğitimde anadilinin yeri. Türk Dili, 379/380, 36-39. [Google Scholar]
  66. Tekşan, K. (2001): Yazılı anlatımı geliştirmede ön hazırlığın etkisi. Çanakkale: Çanakkale Onsekiz Mart Üniversitesi Sosyal  Bilimler Enstitüsü  yayımlanmamış doktora tezi. [Google Scholar]
  67. Temur, T. (2001). İlköğretim 5. sınıf öğrencilerinin yazılı anlatım becerilerinin beceri düzeyleri ile okul başarıları arasındaki ilişki. Ankara üniversitesi sosyal bilimler enstitüsü yayımlanmamış yüksek lisans tezi.  [Google Scholar]
  68. Weigle, S. C. (2002). Assessing writing. Cambridge University Press. [Google Scholar]
  69. White, E. M. (1985). Teaching and assessing: Recent advances in understanding  evaluating and improving student performance. San Francisco: Jossey-Bass. [Google Scholar]
  70. Wilson, M. (2006). Rethinking rubrics in writing assessment. Portsmouth: Heinemann [Google Scholar]
  71. Wind, S. A. (2020). Do raters use rating scale categories consistently across analytic rubric domains in writing assessment?. Assessing Writing, 43, 100416. https://doi.org/10.1016/j.asw.2019.100416 [Google Scholar] [Crossref] 
Download
Metric
History
Related

Volume 17 Issue 2

April 2021

All Articles

International Journal of Progressive Education

International Association of Educators.
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International Public License.
Privacy policy     |     Terms of Use     |     Use of Cookies
Creative Commons Lisansı
© 2012 - 2024 - THDSoft e-Journal Management System.