Exploring the Impact of Paperpal Writing Assistance on Academic Writing Quality: A Case Study of Undergraduate EFL Students

Abstract

This dissertation investigates how using Paperpal, an AI-assisted academic writing tool, influences the academic writing quality of undergraduate EFL students at Kasdi Merbah University–Ouargla. Grounded in research on academic writing and AI-supported language learning, it focuses on changes in overall performance and in five analytic dimensions: content, organisation, vocabulary, grammar, and mechanics. Adopting a mixed-methods pre-test/post-test design, the study involved 45 students who completed two timed argumentative writing tasks before and after a structured period of Paperpal-supported coursework, and responded to a post-intervention questionnaire on their use and perceptions of the tool. Quantitative data were obtained from analytic ratings of pre- and post-test scripts and analyzed using descriptive statistics and paired-samples t-tests, while questionnaire responses were examined through descriptive statistics and thematic interpretation. Results show a statistically significant improvement in total writing scores from pre- to post-test, with a mean gain of about 2.5 points on a 20-point scale and a large effect size, indicating substantial overall enhancement in academic writing quality after the Paperpal intervention. Dimension-level analyses reveal gains across all rubric components, with the largest improvements in grammar and mechanics, followed by vocabulary, and more modest but positive gains in content and organisation, partially confirming the hypothesis that lexico-grammatical and mechanical aspects would benefit most. Questionnaire findings indicate that most students had prior experience with digital and AI-based writing tools, integrated Paperpal mainly at the revision stage, and accepted a large proportion of its suggestions while still exercising selective judgement, and they generally perceived the tool as helpful for improving accuracy, clarity, and academic tone, while also expressing concerns about potential over-reliance and the need for ethical, critical use. The study concludes that, when embedded within a structured pedagogical framework, Paperpal can play a constructive role in enhancing EFL students’ academic writing, particularly at the level of language form, and it recommends explicit AI literacy training, clear institutional guidelines, and further research on long-term and level-specific effects.

Cette dissertation examine l’effet de l’utilisation de *Paperpal*, un assistant d’écriture académique basé sur l’intelligence artificielle, sur la qualité de l’écriture académique chez des étudiants de licence en anglais langue étrangère au département de langue et littérature anglaises de l’Université Kasdi Merbah – Ouargla. S’appuyant sur les travaux consacrés à l’écriture académique et à l’intégration de l’IA dans l’enseignement/apprentissage des langues, l’étude porte sur l’évolution de la performance globale en écriture ainsi que sur cinq dimensions analytiques : le contenu, l’organisation, le lexique, la grammaire et la mécanique de l’écrit. Elle adopte un devis mixte de type pré‑test/post‑test : 45 étudiants ont rédigé deux productions argumentatives chronométrées, l’une avant et l’autre après une période d’utilisation encadrée de *Paperpal* dans le cadre de cours d’écriture académique, puis ont répondu à un questionnaire en ligne portant sur leurs pratiques d’usage et leurs perceptions de l’outil. Les données quantitatives issues de la notation analytique des copies ont été traitées à l’aide de statistiques descriptives et de tests t pour échantillons appariés, tandis que les réponses au questionnaire ont fait l’objet d’analyses descriptives et thématiques. Les résultats montrent une amélioration significative des scores globaux entre le pré‑test et le post‑test, avec un gain moyen d’environ 2,5 points sur 20 et un effet de taille important, ce qui indique un progrès notable de la qualité de l’écriture académique à la suite de l’intervention médiatisée par *Paperpal*. L’analyse par dimension révèle des gains dans l’ensemble des composantes de la grille, plus marqués en grammaire et en mécanique, suivis du lexique, tandis que les progrès en contenu et en organisation, bien que positifs, demeurent plus modestes, ce qui confirme en partie l’hypothèse selon laquelle les aspects lexico‑grammaticaux et mécaniques bénéficient davantage du soutien de l’IA. Les données du questionnaire indiquent que la majorité des étudiants utilisaient déjà des outils numériques et fondés sur l’IA, qu’ils ont intégré *Paperpal* principalement au stade de la révision, et qu’ils ont accepté une proportion importante de ses suggestions tout en exerçant un jugement sélectif. Les participants ont, dans l’ensemble, perçu l’outil comme utile pour améliorer la précision linguistique, la clarté et le ton académique de leurs textes, tout en exprimant des préoccupations relatives au risque de dépendance excessive et à la nécessité d’un usage critique et éthique. L’étude conclut que l’intégration de *Paperpal* dans un cadre pédagogique structuré peut contribuer de manière constructive à l’amélioration de la qualité de l’écriture académique chez les apprenants d’anglais langue étrangère, en particulier sur le plan de la forme linguistique, et recommande de développer la littératie en IA, d’adopter des lignes directrices institutionnelles claires et de mener d’autres recherches sur les effets à long terme et selon les niveaux de compétence.

تهدف هذه الرسالة إلى استقصاء أثر استخدام أداة Paperpal، بوصفها مساعداً كتابياً معزَّزاً بالذكاء الاصطناعي، في تحسين جودة الكتابة الأكاديمية لدى طلبة اللغة الإنجليزية كلغة أجنبية في مرحلة الإجازة بقسم اللغة والأدب الإنجليزي بجامعة قاصدي مرباح – ورقلة. وانطلاقاً من الأدبيات المتعلقة بالكتابة الأكاديمية وبالذكاء الاصطناعي في تعليم اللغات، تركّز الدراسة على التغير في الأداء الكلي للكتابة وعلى الأبعاد التحليلية الخمسة لجودة النص: المضمون، والتنظيم، والمفردات، والقواعد، والآليات الكتابية. اعتمدت الدراسة تصميماً ذا مناهج مختلطة في إطار اختبار قبلي–بعدي؛ حيث أنجز 45 طالباً مهمتين كتابيتين حجاجيتين في ظروف زمنية متكافئة قبل فترة مندمجة من استخدام Paperpal في مساقات الكتابة الأكاديمية وبعدها، كما استجابوا لاستبيان إلكتروني يستقصي أنماط استخدامهم للأداة وتصوراتهم نحوها. جرى تحليل البيانات الكمية المستمدة من تقويم نصوص الاختبارين القبلي والبعدي باستعمال الإحصاءات الوصفية واختبار "ت" للعينات المرتبطة، في حين خضعت بيانات الاستبيان لتحليل وصفي وتحليل موضوعاتي. أظهرت النتائج تحسناً ذا دلالة إحصائية في الدرجات الكلية للكتابة بين الاختبارين، بمتوسط زيادة يقارب 2.5 نقطة من 20 وأثر حجمي كبير، مما يدل على تحسّن ملحوظ في جودة الكتابة الأكاديمية بعد التدخل المعتمد على Paperpal. كما بيّنت التحليلات على مستوى الأبعاد أن جميع مكوّنات سلم التقويم شهدت تحسناً، مع أكبر المكاسب في بعدي القواعد والآليات الكتابية، تليهما المفردات، في حين جاءت الزيادات في المضمون والتنظيم إيجابية ولكن أكثر تواضعاً، وهو ما يؤكد جزئياً الفرضية القائلة إن الجوانب المعجمية–النحوية والميكانيكية تستفيد أكثر من دعم الذكاء الاصطناعي. وكشفت نتائج الاستبيان أن معظم الطلبة كانوا يستخدمون سابقاً أدوات رقمية وذكائية في الكتابة، وأنهم دمجوا Paperpal أساساً في مرحلة المراجعة، وقبلوا نسبة معتبرة من اقتراحاته مع ممارسة قدر من الانتقاء والحكم الذاتي، كما عبّروا عن تصورات إيجابية بخصوص دور الأداة في تحسين الدقة اللغوية، والوضوح، والنبرة الأكاديمية، إلى جانب التعبير عن تخوفات من الإفراط في الاعتماد عليها والحاجة إلى استخدامها بشكل ناقد وأخلاقي. وتخلص الدراسة إلى أن إدماج Paperpal ضمن إطار بيداغوجي منظَّم يمكن أن يسهم إسهاماً بنّاءً في الارتقاء بجودة الكتابة الأكاديمية لدى طلبة الإنجليزية كلغة أجنبية، خاصة على مستوى صقل اللغة وصحتها الشكلية، مع التأكيد على أهمية تنمية كفايات الوعي بالذكاء الاصطناعي، ووضع توجيهات مؤسسية واضحة، وإجراء دراسات لاحقة تستكشف الآثار بعيدة المدى واختلافها عبر مستويات الكفاءة الكتابية.