Promptstratégiák hatása a nagy nyelvi modellek programkód-tesztelési képességére: The Impact of Prompting Strategies on the Test Case Generation Capabilities of Large Language Models

This paper investigates the effect of different prompting strategies on the quality of program tests gen-erated by large language models. In the experiment, test cases were generated for JavaScript pro-gramming tasks using three prompts with different levels of detail. The evaluation was based on fault detection rate, executability, size, and efficiency of the generated test suites. The results show that, for the examined tasks, more detailed prompts produced larger test suites but did not improve fault-detection capability, while the executability of the generated test suites was lower than with the basic prompt. KivonatA cikk különböző promptstratégiák hatását vizsgálja a nagy nyelvi modellek által generált program-tesztek minőségére. A kísérletben JavaScript-programozási feladathoz három, eltérő részletezettségű prompt segítségével készültek tesztesetek. Az értékelés a hibafeltárási arány, a tesztkészletek végrehajthatósága, mérete és hatékonysága alapján történt. Az eredmények azt mutatják, hogy a vizsgált feladatokon a részletesebb promptok több tesztesetet eredményeztek, azonban nem növelték a hibafeltárási képességet, és a generált tesztkészletek végrehajthatósága is alacsonyabb volt az egyszerű alap-prompthoz képest.