Does a centralized written final examination in mathematics indeed improve pupils’ subject-related study ability?

Pia Tscholl 1 * , Florian Stampfer 1, Tobias Hell 2
More Detail
1 Universität Innsbruck, Innsbruck, AUSTRIA
2 DataLab Hell GmbH, Axams, AUSTRIA
* Corresponding Author
EUR J SCI MATH ED, Volume 12, Issue 1, pp. 38-59. https://doi.org/10.30935/scimath/13829
Published Online: 25 October 2023, Published: 01 January 2024
OPEN ACCESS   702 Views   412 Downloads
Download Full Text (PDF)

ABSTRACT

Since 2015/16, a standardized written final examination in mathematics or applied mathematics has been compulsory for nearly all pupils at the upper secondary level in Austria. While this standardized competence-oriented maturity examination is intended to increase pupils’ subject-related study ability, empirical research in this regard is scarce. Therefore, the subject-related study ability for six partially different control and experimental groups containing between 11 and 17 first-year STEM students is compared using a one-tailed two-sample Wilcoxon rank sum test. No significant differences in the subject-related study ability are detected between the control groups, comprising first-year Austrian STEM students who did not participate in the standardized written final examination in mathematics, and the experimental groups, comprising first-year Austrian STEM students who did participate in the standardized written final examination in mathematics. However, post hoc power analyses show that the sample sizes for each of the six sample cases would have to be much larger to prove significant results with a power of at least 80%. Additionally, no evidence for teaching-to-the test practices could be found in the experimental groups.
Keywords: standardized tests, mathematics, study skills, college readiness, STEM, teaching to the test

CITATION

Tscholl, P., Stampfer, F., & Hell, T. (2024). Does a centralized written final examination in mathematics indeed improve pupils’ subject-related study ability?. European Journal of Science and Mathematics Education, 12(1), 38-59. https://doi.org/10.30935/scimath/13829

REFERENCES

  • Arnold, E. (2016). Vorwort [Preface]. In I. van den Berk, K. Petersen, K. Schultes, & K. Stolz (Eds.), Universitätskolleg-Schriften: Studierfähigkeit: Theoretische Erkenntnisse, empirische Befunde und praktische Perspektiven [University college writings: Study ability: Theoretical insights, empirical findings and practical perspectives] (pp. 9-13).
  • Austria Presse Agentur. (2020). Mathe-Zentralmatura an AHS wird auf neue Beine gestellt [Mathematics Central Matura at AHS is being put on a new footing]. Tiroler Tageszeitung. https://www.kleinezeitung.at/politik/innenpolitik/5835905/Personalwechsel_MatheKlausur-an-AHS-wird-auf-neue-Beine-gestellt
  • Behofsits, A. (2018). Mathematik und Sprache: Vorbereitung auf die kompetenzorientierte standardisierte Reifeprüfung durch sprachsensiblen Mathematikunterricht [Mathematics and language: Preparation for the competency-oriented standardized matriculation examination through language-sensitive mathematics lessons] [Master’s thesis, Karl-Franzens-Universität Graz].
  • Bell, A. (1994). Teaching for the test. In M. Selinger (Ed.), Teaching mathematics (pp. 41-46). Routledge.
  • Bishop, J. H. (1997). The effect of national standards and curriculum-based exams on achievement. The American Economic Review, 87(2), 260-264.
  • BMBWF. (2019a). Mathematische Grundkompetenzen im gemeinsamen Kern: Gültig ab den Matura-Prüfungsterminen 2017/2018 [Basic mathematical skills in the common core: Valid from the Matura examination dates 2017/2018]. Bundesministerium für Bildung, Wissenschaft und Forschung [Federal Ministry of Education, Science and Research]. https://www.matura.gv.at/fileadmin/user_upload/downloads/Begleitmaterial/AM/srdp_am_kompetenzen_2018_teil_a-2019-09-05.pdf
  • BMBWF. (2019b). Die standardisierte Reife- und -Diplomprüfung: …für höchste Qualität an Österreichs Schulen [The standardized maturity and diploma examination: …for the highest quality in Austria’s schools]. Bundesministerium für Bildung, Wissenschaft und Forschung [Federal Ministry of Education, Science and Research]. https://www.bmbwf.gv.at/Themen/schule/schulpraxis/zentralmatura/srdp.html
  • Bölling, R. (2011). Auch ein Zentralabitur bürgt nicht für Qualität [Even a central high school diploma does not guarantee quality]. Frankfurter Allgemeine. https://www.faz.net/aktuell/karriere-hochschule/campus/hochschulreife-auch-ein-zentralabitur-buergt-nicht-fuer-qualitaet-1590722.html
  • Brown, R. S., & Conley, D. T. (2007). Comparing state high school assessments to standards for success in entry-level university courses. Educational Assessment, 12(2), 137-160. https://doi.org/10.1080/10627190701232811
  • Büchele, S. (2020). Bridging the gap–How effective are remedial math courses in Germany? Studies in Educational Evaluation, 64, 100832. https://doi.org/10.1016/j.stueduc.2019.100832
  • Bünning, F. (2020). Fachkräftemangel und Handlungsfelder für die technische Bildung [Shortage of skilled workers and areas of action for technical education]. In F. Bünning, M. Dick, R. W. Jahn, & A. Seltrecht (Eds.), Berufsbildung, Arbeit und Innovation: Zwischen Ingenieurpädagogik, Lehrkräftebildung und betrieblicher Praxis eine Festschrift für Klaus Jenewein [Vocational training, work and innovation: A commemorative publication for Klaus Jenewein between engineering education, teacher training and operational practice] (pp. 117-126). W. Bertelsmann Verlag. https://doi.org/10.3278/6004727w
  • Carpenter, S. K., Pashler, H., Wixted, J. T., & Vul, E. (2008). The effects of tests on learning and forgetting. Memory & Cognition, 36(2), 438-448. https://doi.org/10.3758/MC.36.2.438
  • cosh. (2012). Mindestanforderungskatalog Mathematik: Der Hochschulen Baden-Württembergs für ein Studium von MINT- oder Wirtschaftsfächern. Ergebnis einer Fachtagung am 5. Juli 2012 in Esslingen [Minimum requirements catalog for mathematics: Baden-Württemberg universities for studying MINT or business subjects. Result of a specialist conference on July 5, 2012 in Esslingen]. https://lehrerfortbildung-bw.de/u_matnatech/mathematik/bs/bk/cosh/katalog/makv20b_ohne_leerseiten.pdf
  • Cramer, E., & Walcher, S. (2010). Schulmathematik und Studierfähigkeit [School mathematics and study skills]. Mitteilungen Der Deutschen Mathematiker-Vereinigung [Announcements from the German Association of Mathematicians], 18, 110-114.
  • Cramer, E., Walcher, S., & Wittich, O. (2014). Studierfähigkeit im Fach Mathematik: Anmerkungen zu einem vernachlässigten Thema [Ability to study mathematics: Notes on a neglected topic]. In S. Lin-Klitzing, D. Di Fuccia, & R. Stengl-Jörns (Eds.), Gymnasium-Bildung-Gesellschaft: Abitur und Studierfähigkeit: Ein interdisziplinärer Dialog [High school education society: Abitur and ability to study: An interdisciplinary dialogue] (pp. 163-182). Klinkhardt.
  • D’Agostino, J. V., & Bonner, S. M. (2009). High school exit exam scores and university performance. Educational Assessment, 14(1), 25-37. https://doi.org/10.1080/10627190902816223
  • Dangl, M., Fischer, R., Heugl, H., & Kröpfl, B. (2009). Das Projekt “Standardisierte schriftliche Reifeprüfung aus Mathematik”: Sicherung von mathematischen Grundkompetenzen [The “standardized written matriculation examination in mathematics” project: Securing basic mathematical skills]. https://www.aau.at/wp-content/uploads/2017/10/sRP-M_September_2009-2.pdf
  • Ebbinghaus, H. (2011). Über das Gedächtnis: Untersuchungen zur experimentellen Psychologie [On memory: Studies in experimental psychology]. Verlag von Duncker & Humber.
  • Fend, H. (2020). Das österreichische Bildungswesen vor einer Zeitwende? Kontrollschub oder Qualitätsschub: Wohin führt die neue “Testungsmaschine”? [The Austrian education system facing a turning point? Control boost or quality boost: Where will the new “testing machine” lead?] In U. Greiner, C. Wiesner, C. Schreiner, & F. Hofmann (Eds.), Bildungsstandards: Kompetenzorientierung, Aufgabenkultur und Qualitätsentwicklung im Schulsystem [Educational standards: Competence orientation, task culture and quality development in the school system] (pp. 561-576). Waxmann Verlag.
  • Fuchs, K., & Kraler, C. (2020). Bildungsstandards und Aufgabenkultur im Mathematikunterricht [Educational standards and task culture in mathematics lessons]. In U. Greiner, C. Wiesner, C. Schreiner, & F. Hofmann (Eds.), Bildungsstandards: Kompetenzorientierung, Aufgabenkultur und Qualitätsentwicklung im Schulsystem [Educational standards: Competence orientation, task culture and quality development in the school system] (pp. 482-500). Waxmann Verlag.
  • Gäde, J. C., Schermelleh-Engel, K., & Werner, C. S. (2020). Klassische Methoden der Reliabilitätsschätzung [Classic methods of reliability estimation]. In H. Moosbrugger, & A. Kelava (Eds.), Testtheorie und Fragebogenkonstruktion [Test theory and questionnaire construction] (p. 305-334). Springer. https://doi.org/10.1007/978-3-662-61532-4_14
  • Gerdes, A., Halverscheid, S., & Schneider, S. (2022). Teilnahme an mathematischen Vorkursen und langfristiger Studienerfolg. Eine empirische Untersuchung [Participation in preliminary mathematical courses and long-term academic success. An empirical study]. Journal Für Mathematik-Didaktik [Journal for Mathematics Didactics], 43(2), 377-403. https://doi.org/10.1007/s13138-021-00194-3
  • Götz, S. (2018). Eine echte Teilmenge: Zum Konzept der standardisierten schriftlichen Reifeprüfung in Mathematik an AHS [A real subset: On the concept of the standardized written matriculation examination in mathematics at AHS]. Mathematik Im Unterricht [Mathematics in the Classroom], 9, 15-28.
  • Götz, S., & Süss-Stepancik, E. (2018). Vom Testen zum (kompetenten) Lernen im Mathematikunterricht [From testing to (competent) learning in mathematics lessons]. R&E-Source.
  • Haidenthaler, W. (2019). SRDP Mathematik spricht Deutsch. Themenprogramm: Kompetenzen im mathematischen und naturwissenschaftlichen Unterricht [SRDP mathematics speaks German. Thematic program: Competencies in mathematics and science lessons]. https://www.imst.ac.at/files/projekte/2019/berichte/2019_Langfassung_Haidenthaler.pdf
  • Hoymann, T. (2011). Umdenken nach dem PISA-schock [Rethinking after the PISA shock]. Tectum-Der Wissenschaft.
  • Huber, L. (1994). Nur allgemeine Studierfähigkeit oder doch allgemeine Bildung? Zur Wiederaufnahme der Diskussion über “Hochschulreife” und die Ziele der Oberstufe [Just general study skills or general education? To resume the discussion about “university readiness” and the goals of high school]. Die Deutsche Schule [The German School], 86(1), 12-26.
  • Jürges, H., & Schneider, K. (2010). Central exit examinations increase performance … but take the fun out of mathematics. Journal of Population Economics, 23(2), 497-517. https://doi.org/10.1007/S00148-008-0234-3
  • Klein, E. D., Krüger, M., Kühn, S. M., & van Ackeren, I. (2014). Wirkungen zentraler Abschlussprüfungen im Mehrebenensystem Schule. Eine Zwischenbilanz internationaler und nationaler Befunde und Forschungsdesiderata [Effects of central final examinations in the multi-level school system. An interim assessment of international and national findings and research desiderata]. Zeitschrift Für Erziehungswissenschaft [Journal of Educational Science], 17(1), 7-33. https://doi.org/10.1007/s11618-014-0479-4
  • Klitzing, H. G. (2014). Studierfähigkeit–die schulische und verbandspolitische Sicht [Ability to study–the school and association policy perspective]. In S. Lin-Klitzing, D. Di Fuccia, & R. Stengl-Jörns (Eds.), Gymnasium– Bildung–Gesellschaft: Abitur und Studierfähigkeit: Ein interdisziplinärer Dialog [High school–education–society: Abitur and ability to study: An interdisciplinary dialogue] (pp. 23-26). Klinkhardt.
  • Konegen-Grenier, C. (2002). Studierfähigkeit und Hochschulzugang [Ability to study and university entrance]. Dt. Inst.-Verl.
  • Koppenberger, C. (2022). Lernvideos als Vorbereitung auf die schriftliche Reifeprüfung im Fach Mathematik: Fünf Lernvideos zum Thema Änderungsmaße im Vergleich [Learning videos as preparation for the written matriculation examination in mathematics: Five learning videos on the subject of change measures in comparison] [Bachelor thesis, Private Pädagogische Hochschule der Diözese Linz].
  • Kos, K. (2020). Einfluss der standardisierten Reifeprüfung auf die Leistungen von Studienanfängerinnen und Studienanfängern im Lehramt Mathematik [Influence of the standardized school leaving examination on the performance of new students in mathematics teaching] [Diploma thesis, Karl-Franzens-Universität Graz].
  • Kubelik, T. (2018). Neue Mathematik-Matura: Kolossal banal [New mathematics matura: Colossally banal]. Die Presse. https://www.diepresse.com/5405644/neue-mathematik-matura-kolossal-banal?utm_campaign=Echobox&utm_medium=Social&utm_source=Facebook&xtor=CS1-15&fbclid=IwAR1ZVUjeOMTT20gtD5_x2pyM4ZElwoqcFik28U-oOVV7SWrt9RYp8gdt5Gk&pw-overlay-registration=started
  • Kutleša, P. (2018). Standardisierte Reifeprüfung: Ein Vergleich ausgewählter Staaten mit dem Schwerpunkt auf der österreichischen standardisierten Reifeprüfung im Fach Mathematik [Standardized school leaving examination: A comparison of selected countries with the focus on the Austrian standardized school leaving examination in mathematics] [Master’s thesis, Karl-Franzens-Universität Graz].
  • Leschnig, L. (2020). Das bundesweite Zentralabitur–ein richtiger Ansatz, aber kein Allheilmittel [The nationwide central high school diploma–A right approach, but not a panacea]. IAB. https://www.iab-forum.de/das-bundesweite-zentralabitur-ein-richtiger-ansatz-aber-kein-allheilmittel/
  • Leschnig, L., Schwerdt, G., & Zigova, K. (2022). Central exams and adult skills: Evidence from PIAAC. Economics of Education Review, 90, 102289. https://doi.org/10.1016/j.econedurev.2022.102289
  • Lumpe, M. (2019). Studienabbruch in den MINT-Fächern: Fallstudien an der Universität Potsdam und mögliche Folgerungen [Dropping out of studies in the MINT subjects: Case studies at the University of Potsdam and possible consequences]. In W. Schubarth, S. Mauermeister, F. Schulze-Reichelt, & A. Seidel (Eds.), Potsdamer Beiträge zur Hochschulforschung: Alles auf Anfang! Befunde und Perspektiven zum Studieneingang [Potsdam contributions to university research: Everything at the beginning! Findings and perspectives on the start of the study] (pp. 177-194). Universitätsverlag Potsdam.
  • Neumann, I., Pigge, C., & Heinze, A. (2017). Welche mathematischen Lernvoraussetzungen erwarten Hochschullehrende für ein MINT-Studium? [What mathematical learning requirements do university teachers expect for a MINT degree?] https://www.telekom-stiftung.de/sites/default/files/files/media/publications/MaLeMINT_Broschu%CC%88re_Korr.%20Version%20Mai%202018.pdf
  • Neumann, M., Nagy, G., Trautwein, U., & Lüdtke, O. (2009). Vergleichbarkeit von Abiturleistungen [Comparability of high school diploma achievements]. Zeitschrift Für Erziehungswissenschaft [Journal of Educational Science], 12(4), 691-714. https://doi.org/10.1007/s11618-009-0099-6
  • OECD. (2003). The PISA 2003 assessment framework–Mathematics, reading, science and problem solving knowledge and skills. Organization for Economic Co-Operation and Development. https://www.oecd.org/education/school/programmeforinternationalstudentassessmentpisa/33694881.pdf
  • Plangg, S., & Holzinger, J. (2018). Schriften zur Didaktik der Mathematik und Informatik an der Universität Salzburg: Aktuelle Themen fachdidaktischer Forschung: Mathematikunterricht im Wandel-Eine fachdidaktische Analyse-Kommunikation im Mathematikunterricht [Writings on the didactics of mathematics and computer science at the University of Salzburg: Current topics in subject-didactic research: Mathematics teaching in transition–A subject-didactic analysis-communication in mathematics lessons]. Shaker.
  • Pöll, J. (2017). Ängste, Schwierigkeiten und Herausforderungen von Lehrpersonen an allgemeinbildenden höheren Schulen in Bezug auf die standardisierte, schriftliche Reifeprüfung in Mathematik [Fears, difficulties and challenges of teachers at general secondary schools in relation to the standardized, written matriculation examination in mathematics] [Master’s thesis, Universität Wien].
  • Reisinger, M. (2020). Mathematisches Bewusstsein in Zeiten eines technologieunterstützten Mathematik-Unterrichts [Mathematical awareness in times of technology-supported mathematics education] [Seminar presentation]. FernUniversität Hagen.
  • Sattlberger, E. (2020). Was wir leisten, wenn wir beurteile: Altes und Neues zum (leidigen) Thema Leistungsbeurteilung [What we achieve when we evaluate: Old and new on the (tedious) topic of performance evaluation]. https://kphvie.ac.at/fileadmin/Dateien_KPH/Forschung_Entwicklung/Publikationen/KPH-Reihe/av-sattlberger-gesamtheft.pdf
  • Sattlberger, E., & Steinfeld, J. (2015). Die standardisierte schriftliche Reifeprüfung Mathematik (AHS)–Einsichten und Hintergrundinformationen [The standardized written mathematics school leaving examination (AHS)–Insights and background information]. BIFIE Wien. https://www.oemg.ac.at/DK/Didaktikhefte/2015%20Band%2048/VortragSattlbergerSteinfeld.pdf
  • Schnabl, C., & Kriegler-Kastelic, G. (2014). Studierfähigkeit auf dem Prüfstand. Kompetenz, Eignung und Begabung an der Schnittstelle von Schule und Hochschule [Ability to study put to the test. Competence, suitability and talent at the interface between school and university]. In S. Lin-Klitzing, D. Di Fuccia, & R. Stengl-Jörns (Eds.), Gymnasium - Bildung - Gesellschaft: Abitur und Studierfähigkeit: Ein interdisziplinärer Dialog [High school-educatione-society: High school diploma and ability to study: An interdisciplinary dialogue] (pp. 147-162). Klinkhardt.
  • Schulorganisationsgesetz. (1962/2023). Bundesgesetz vom 25. Juli 1962 über die Schulorganisation (Schulorganisationsgesetz), RIS (1962 & rev. 04.03.2023) [Federal law of July 25, 1962, on school organization (School Organization Act), RIS (1962 & rev. March 4, 2023)]. https://www.ris.bka.gv.at/GeltendeFassung.wxe?Abfrage=Bundesnormen&Gesetzesnummer=10009265
  • Singer, K. (2015). Auswirkungen der Einführung einer standardisierten Reifeprüfung im Fach Mathematik in Österreich: Was passiert in der Praxis? [Effects of the introduction of a standardized matriculation examination in mathematics in Austria: What happens in practice?] [Master’s thesis, Karl-Franzens-Universität Graz].
  • Sorge, S., Petersen, S., & Neumann, K. (2016). Die Bedeutung der Studierfähigkeit für den Studienerfolg im 1. Semester in Physik [The importance of the ability to study for academic success in the first semester of physics]. Zeitschrift Für Didaktik Der Naturwissenschaften [Journal for Didactics of Natural Sciences], 22(1), 165-180. https://doi.org/10.1007/s40573-016-0048-x
  • SRDP. (2021). Die standardisierte schriftliche Reifeprüfung in Mathematik (AHS) [The standardized written matriculation examination in mathematics (AHS)]. Bundesministerium für Bildung, Wissenschaft und Forschung [Federal Ministry of Education, Science and Research]. https://www.matura.gv.at/index.php?
  • eID=dumpFile&t=f&f=4826&token=4574fed24b889f914a68a7411172dbce06459c69
  • SRDP. (2022). Mathematische Grundkompetenzen für die SRP in Mathematik (AHS) [Basic mathematical skills for the SRP in mathematics (AHS)]: Fundamental content areas for the core competencies in mathematics. Bundesministerium für Bildung, Wissenschaft und Forschung [Federal Ministry of Education, Science and Research]. https://www.matura.gv.at/downloads/download/mathematische-grundkompetenzen-fuer-die-srp-in-mathematik-ahs
  • Taschwer, K. (2018). Mathematiker: “Wir beobachten ein stetes Absinken der Kenntnisse” [Mathematician: “We are observing a constant decline in knowledge”]. Der Standard. https://www.derstandard.at/story/2000079538052/mathematiker-wir-beobachten-ein-stetes-absinken-der-kenntnisse
  • Thaler, B. (2021). Einfluss der schulischen Vorbildung auf den Studienerfolg. Abschluss und Verbleib im Studium bei fachnaher vs. nicht fachnaher schulischer Vorbildung [Influence of previous school education on academic success. Completion and retention in studies with subject-related vs. non-subject-related school education]. In A. Pausits, R. Aichinger, M. Unger, M. Fellner, & B. Thaler (Eds.), Rigour and relevance: Hochschulforschung im Spannungsfeld zwischen Methodenstrenge und Praxisrelevanz [Rigor and relevance: University research in the area of tension between methodological rigor and practical relevance] (pp. 179-200). Waxmann Verlag.
  • Thaller, B., & Juen-Kretschmer, C. (Eds.). (2016). Beiträge zur Fachdidaktik: Projekt LEMMA: Zwischenbericht 2015 [Contributions to subject didactics: LEMMA project: Interim report 2015]. Praesens Verlag.
  • Thonhauser, J. (2020). Aufgaben als Katalysatoren von Lernprozessen [Tasks as catalysts of learning processes]. In U. Greiner, C. Wiesner, C. Schreiner, & F. Hofmann (Eds.), Bildungsstandards: Kompetenzorientierung, Aufgabenkultur und Qualitätsentwicklung im Schulsystem [Educational standards: competence orientation, task culture and quality development in the school system] (pp. 464-481). Waxmann Verlag.
  • Tieben, N. (2019). Brückenkursteilnahme und Studienabbruch in Ingenieurwissenschaftlichen Studiengängen [Participation in bridging courses and dropping out of engineering courses]. Zeitschrift Für Erziehungswissenschaft [Journal of Educational Science], 22(5), 1175-1202. https://doi.org/10.1007/s11618-019-00906-z
  • Tscholl, P. (2023). Mathematical assessment for first-year students: Development, experience, and outlook at the University of Innsbruck. European Society for Research in Mathematics Education.
  • Tscholl, P., Stampfer, F., & Hell, T. (Manuscript submitted for publication). About bridges and hurdles when entering university: Short-term effects of a mathematical bridging course concept and its self-assessment on academic success and dropout in Austria.
  • van den Berk, I., Stolz, K., Petersen, K., & Schultes, K. (2016). Einleitung [Introduction]. In I. van den Berk, K. Petersen, K. Schultes, & K. Stolz (Eds.), Universitätskolleg-Schriften: Studierfähigkeit: Theoretische Erkenntnisse, empirische Befunde und praktische Perspektiven [University college writings: Study ability: Theoretical insights, empirical findings and practical perspectives] (pp. 17-22).
  • Volante, L. (2004). Teaching to the test: What every educator and policy-maker should know. Canadian Journal of Educational Administration and Policy, 35.
  • Winkler, R. (2018). Zentralmatura in der Sackgasse? [Central high school diploma in a dead end?] Internationale Mathematische Nachrichten [International Mathematical News], 237, 27-58.
  • Wößmann, L. (2002). Central exams improve educational performance: International evidence. Kieler Diskussionsbeiträge [Kiel Discussion Contributions], 397, 1-45.
  • Wößmann, L. (2003). How central exams affect educational achievement: International evidence from TIMSS and TIMSS-repeat. SSRN Electronic Journal. https://doi.org/10.2139/ssrn.387700