هندسة السياق والتخزين المؤقت للمطالبات: بناء وكلاء ذكاء اصطناعي منخفضي زمن الاستجابة

عندما وسعت النماذج اللغوية الكبيرة نوافذ السياق الخاصة بها من 8,000 توكن إلى مليون توكن، افترض العديد من المطورين أن إدارة المطالبات قد حُلت تلقائياً. أصبح بإمكانك إلقاء قواعد البيانات الكاملة، والتوثيقات، وسجلات المحادثة داخل النافذة وترك النموذج يتعامل معها.

في بيئة الإنتاج، يفشل هذا النهج البسيط. تظهر البحوث واختبارات الأداء الواقعية أن قدرة النموذج على التفكير تتراجع كلما امتلأت نافذة السياق—وهي ظاهرة تُعرف باسم "عفن السياق" أو الضياع في المنتصف. علاوة على ذلك، فإن إرسال 500,000 توكن لكل خطوة في حلقة وكيل تتكون من 10 خطوات يدمر الأداء، مما يرفع زمن الاستجابة إلى 30 ثانية لكل خطوة ويستهلك الميزانية بسرعة.

انتقل التخصص من **هندسة المطالبات** (البحث عن الكلمات السحرية لمطالبة واحدة) إلى **هندسة السياق** (تصميم هيكل التوكنز، وتخزين البادئات مؤقتاً، وإدارة حالة السياق الديناميكي عبر حلقات التنفيذ).

إليك كيفية بناء أنظمة وكلاء جاهزة للإنتاج تعمل بسرعة، وتحافظ على الدقة، وتقلل تكاليف الاستدعاء بنسبة تصل إلى 85%.

1. تشريح تدهور السياق

طول السياق ليس مجرد مساحة مجانية. تستخدم نماذج المحولات مصفوفات الانتباه الذاتي التي ينمو حسابها تربيعياً مع طول التسلسل. حتى مع تقريبات الانتباه الخطي، يقل تركيز النموذج عندما تدفن المعلومات الرئيسية داخل آلاف التوكنز من السجلات والأدوات غير الضرورية.

نحن نقسم توكنز السياق إلى ثلاث طبقات رئيسية:

• **السياق الثابت (البادئة)**: قواعد النظام، وتعليمات إطار العمل، وتعريفات الهيكل، وبيانات الأدوات. يظل هذا متطابقاً عبر جميع الطلبات وحلقات الوكيل.

• **السياق شبه الثابت**: مستندات الأعمال المسترجعة، ومواصفات المشروع، ونطاقات صلاحيات المستخدم. يتغير هذا حسب الجلسة ولكنه يظل ثابتاً عبر تكرارات الحلقة الواحدة.

• **السياق الديناميكي**: سجلات المحادثة خطوة بخطوة، ومخرجات تنفيذ الأدوات، والأفكار المؤقتة، وتتبعات الأخطاء. ينمو هذا مع كل إجراء يتخذه الوكيل.

إذا قمت بوضع بيانات متغيرة (مثل الطوابع الزمنية أو معرفات الجلسات الفريدة) في رأس مطالبة النظام، فإنك تكسر التخزين المؤقت للمطالبات لكل التوكنز التالية. تبدأ هندسة السياق من الترتيب الصارم للبادئات.

2. الاستفادة من نقاط توقف التخزين المؤقت

تدعم واجهات برمجة التطبيقات الحديثة التخزين المؤقت للمطالبات. عندما تشترك استدعاءات واجهة برمجة التطبيقات في توكنز البادئة ذاتها مع استدعاء سابق، يتخطى المزود إعادة حساب المصفوفات لهذه التوكنز. يقلل هذا من تكلفة توكنز المدخلات بنسبة تصل إلى 90% ويخفض الوقت حتى أول توكن (TTFT) بنسبة تتجاوز 70%.

لضمان تحقيق أعلى نسبة تخزين مؤقت في حلقات الوكيل، نقوم بتنظيم مطالباتنا بترتيب محدد:

[قواعد النظام وسياسات الأمان]     <-- نقطة توقف التخزين المؤقت 1 (ثابت)
[تعريفات الأدوات ومخططات OpenAPI] <-- نقطة توقف التخزين المؤقت 2 (ثابت)
[المعرفة المسترجعة ومواصفات المشروع] <-- نقطة توقف التخزين المؤقت 3 (شبه ثابت)
[حالة تنفيذ الوكيل والسجل]         <-- ديناميكي (يتم إلحاقه مع كل خطوة)

باستخدام هذا النمط والتنظيم الصارم، تصل نسبة التخزين المؤقت إلى 80% - 90% من توكنز المطالبات في كل تكرار للوكيل بعد الخطوة الأولى.

3. الضغط الديناميكي للسياق والنوادج المتحركة

أثناء تنفيذ الوكيل لمهام متعددة الخطوات (مثل فحص الأدلة، وتعديل ملفات الكود، وتشغيل أدوات الاختبار)، تتراكم مخرجات التنفيذ بسرعة. يمكن لأمر واحد في الطرفية أن يعيد 10,000 توكن من سجلات الفشل.

إذا تركت هذه المخرجات دون إدارة، فإن نمو السياق يقلل من دقة التفكير ويتجاوز الحدود المسموحة. نحل هذه المشكلة عبر **الضغط الديناميكي للسياق**:

4. نتائج اختبارات الأداء في الإنتاج

قمنا باختبار إعدادين لوكيل برمجة مستقل ينفذ إعادة هيكلة كود من 12 خطوة في مشروع Next.js:

• **الإعداد أ (البسيط)**: رأس مطالبة واحد غير مخزن مؤقتاً، الاحتفاظ الكامل بمخرجات الأدوات، دون إدارة ميزانية التوكنز.

• **الإعداد ب (المهندس بالسياق)**: بادئات محاذاة للتخزين المؤقت، اقتصاص المخرجات عند 1,500 توكن، وذاكرة ملاحظات متحركة.

النتائج:

• **متوسط الوقت حتى أول توكن (TTFT)**: انخفض من 4.8 ثوانٍ إلى 1.1 ثانية (أسرع بنسبة 77%).

• **إجمالي تكلفة التوكنز**: انخفضت من 1.42 دولار للمهمة إلى 0.21 دولار للمهمة (تخفيض بنسبة 85%).

• **معدل إكمال المهام**: تحسن من 72% إلى 91% بسبب القضاء على عفن السياق في الخطوات المتأخرة.

الخلاصة

نوافذ السياق الأكبر هي ترقية في السعة وليست بديلاً عن التصميم الهندسي. يتطلب بناء وكلاء ذكاء اصطناعي جاهزين للإنتاج التعامل مع السياق كمورد حوسبي مُدار. من خلال تنظيم البادئات الثابتة، ووضع نقاط توقف التخزين المؤقت، وضغط مخرجات الأدوات الديناميكية، يمكنك نشر وكلاء مؤسسيين ينفذون الأعمال بسرعة، بتكلفة أقل، وبدقة تفكير عالية عبر المهام المعقدة.