MASE (Multi-Agent System Efficiency)
Birgə işləyən çoxlu süni intellekt agentlərinin (multi-agent systems) mürəkkəb tapşırıqları yerinə yetirərkən göstərdiyi sürət, resurs səmərəliliyi və token qənaəti göstəricisi.
MASE = (Uğurla Tamamlanmış Tapşırıqlar / Sərf Olunan Ümumi Token və Hesablama Gücü)Ətraflı İzah
Süni intellekt sahəsi tək bir çatbotdan (məs. ChatGPT) çıxaraq, müəyyən tapşırıqları yerinə yetirmək üçün bir-biri ilə ünsiyyət quran AI agentləri şəbəkəsinə (Multi-Agent Systems) doğru sürətlə irəliləyir. Məsələn, bir agent kod yazır, digəri onu test edir, üçüncüsü isə sənədləşdirir. MASE metriki bu agentlərin birgə işinin nə dərəcədə səmərəli olduğunu ölçür.
Əgər agentlər bir-biri ilə çoxlu lazımsız sorğu mübadiləsi aparırsa, bu, həm vaxt itkisinə, həm də yüksək API/token xərclərinə səbəb olur. MASE-nin yüksək olması o deməkdir ki, agentlər minimum resurs və token sərfiyyatı ilə ən optimal şəkildə hədəfə çatırlar.
Bu metrik gələcəyin AI mühəndisliyində proqram təminatlarının keyfiyyətini və infrastruktur xərclərini qiymətləndirmək üçün ən vacib meyar olacaqdır.
Bir proqramlaşdırma agentliyi müştəri sifarişlərini avtomatlaşdırmaq üçün 3 AI agentindən ibarət sistem qurub. Sistem 100 tapşırıqdan 90-nı uğurla tamamlayıb və bunun üçün 1,000,000 token istifadə edib. MASE = 90 / 1,000,000 = 0.00009 tapşırıq/token. Mühəndislər agentlərin dialoqunu optimallaşdıraraq eyni işi 500,000 tokenlə etdikdə MASE ikiqat artır.