The Impact of Prompt Engineering on the Quality of Legal and Chemical Translations

Abstract

This study explores the impact of prompt engineering on the quality of machine translation using two advanced artificial intelligence systems: ChatGPT-4o and Claude 3.7. Through a comparative analysis of scientific and legal texts, the study investigates how different levels of prompt engineering affect translation accuracy, terminology consistency, and style. The results show that general and simple prompts (Zero-Shot Prompts) tend to produce generic and often inconsistent translations, whereas well-crafted prompts (Few-Shot Prompts) that include glossaries or specify the target audience significantly enhance translation quality. Claude demonstrated greater consistency in the use of chemical terminology and provided more structured translations closer to formal legal phrasing, while ChatGPT delivered more flexible translations with additional explanations that aid understanding in legal contexts. These findings affirm that prompt engineering is a key factor in improving AI-based translation, offering a practical means to bridge the gap between general translations and the specialized, professional translations required in academic and legal contexts.

Cette étude examine l’impact de l’ingénierie des prompts sur la qualité de la traduction automatique à l’aide de deux systèmes avancés d’intelligence artificielle : ChatGPT-4o et Claude 3.7. À travers une analyse comparative de textes scientifiques et juridiques, la recherche évalue l’influence de différents niveaux d’ingénierie des prompts sur la précision de la traduction, la cohérence terminologique et le style. Les résultats montrent que les prompts généraux et simples (prompts zéro-shot) tendent à produire des traductions génériques et souvent incohérentes, tandis que des prompts soigneusement élaborés (prompts few-shot), intégrant des glossaires ou précisant le public cible, améliorent significativement la qualité des traductions. Claude se distingue par une plus grande constance dans l’emploi de la terminologie chimique et par des traductions plus structurées, proches du style juridique formel, tandis que ChatGPT propose des traductions plus flexibles, enrichies d’explications facilitant la compréhension dans les contextes juridiques. Ces résultats confirment que l’ingénierie des prompts constitue un facteur déterminant pour l’amélioration de la traduction assistée par l’IA, en offrant un moyen pratique de réduire l’écart entre les traductions générales et les traductions spécialisées et professionnelles requises dans les contextes académiques et juridiques.

تتناول هذه الدراسة تأثير هندسة الأوامرعلى جودة الترجمة الآلية باستخدام نظامين متقدمين من الذكاء الاصطناعي: ChatGPT-4o وClaude 3.7. ومن خلال تحليل مقارن لنصوص علمية وقانونية، تبحث هذه الدراسة حول كيفية تأثير مستويات هندسة الأوامر المختلفة في دقة الترجمة واتساق المصطلحات والأسلوب. وقد أظهرت النتائج أن الأوامر العامة والبسيطة(Zero-Shot Prompt) تنتج ترجمات عامة وغالبًا غير متسقة، في حين أن الأوامر (Few-Shot Prompt)المصاغة بدقة والتي تتضمن معاجم مصطلحية أو تحدد الجمهور المستهدف تسهم بشكل كبير في تحسين جودة الترجمة. تميز نموذج Claude باتساق أعلى في استخدام المصطلحات الكيميائية، وأظهرترجمات أكثر تنظيمًا وأقرب إلى الصياغة القانونية الرسميةبينما قدمChatGPTترجمات مرنة مع تفسيرات إضافية تسهل الفهم في سياق قانوني. وتؤكد هذه النتائج أن هندسة الأوامر تمثل عنصرًا محوريًا في تحسين الترجمة بالاعتماد على الذكاء الاصطناعي، مما يوفر وسيلة عملية لسد الفجوة بين الترجمات العامة والترجمات المتخصصة والاحترافية المناسبة للسياقات الأكاديمية والقانونية.