ئۇزۇن بىر پاراڭدىن كېيىن مودېل باشتا ئېيتقان گېپىڭىزنى «ئۇنتۇپ قالغاندەك» قىلامدۇ؟ ياكى ئۇزۇن ھۆججەت بەرسىڭىز، ئوتتۇرىسىدىكى مۇھىم بىر جۈملىنى كۆرمەي قالامدۇ؟ بۇنىڭ سەۋەبى كۆپىنچە بىر ئۇقۇمغا باغلىق: context window (مەزمۇن كۆزنىكى).
Context Window — AI نىڭ خىزمەت ئەستە ساقلىشى
بۇ بەت context window نىڭ نېمە ئىكەنلىكىنى، ئۇنىڭغا نېمىلەرنىڭ كىرىدىغانلىقىنى، «چوڭ كۆزنەك ھەمىشە ياخشى ئەمەس» دېگەننىڭ مەنىسىنى ۋە ئۇنى ئەقىللىق ئىشلىتىشنىڭ ئەمەلىي ئۇسۇللىرىنى ئۇيغۇرچە چۈشەندۈرىدۇ.
Context window نېمە؟
Anthropic نىڭ رەسمىي ھۆججىتىدە مۇنداق چۈشەندۈرۈلگەن: context window — تىل مودېلى جاۋاب ھاسىل قىلغاندا پايدىلىنالايدىغان بارلىق تېكىست، جۈملىدىن جاۋابنىڭ ئۆزىمۇ. بۇ مودېل تەربىيەلەنگەن غايەت زور سانلىق مەلۇماتتىن پەرقلىق؛ ئۇ مودېلنىڭ «خىزمەت ئەستە ساقلىشى» (working memory).
سىغىم token بىلەن ئۆلچىنىدۇ. Token — مودېل تېكىستنى بۆلىدىغان كىچىك پارچە (بۇ ھەقتە «چوڭ تىل مودېلى قانداق جاۋاب بېرىدۇ» ماقالىسىنى كۆرۈڭ). ئۇيغۇرچە تېكىست كۆپىنچە ئىنگلىزچىدىن كۆپرەك token غا بۆلۈنىدۇ، شۇڭا ئوخشاش مەزمۇن كۆزنەكتىن تېخىمۇ كۆپ ئورۇن ئالىدۇ.
ئۇنىڭغا نېمىلەر كىرىدۇ؟
پەقەت سىز يازغان سوئاللا ئەمەس. Anthropic ھۆججىتىگە كۆرە، تەلەپتىكى ھەممە نەرسە ھېسابقا كىرىدۇ:
سىستېما كۆرسەتمىسى (system prompt)
پۈتۈن پاراڭ تارىخى — ھەر بىر سوئال ۋە ھەر بىر جاۋاب
يوللانغان ھۆججەت، رەسىم ۋە قورال نەتىجىلىرى (tool results)
قورال تەرىپلىرى (tool definitions)
مودېلنىڭ يېڭى جاۋابى، ئويلىنىش (thinking) token لىرىمۇ قوشۇلۇپ
API دا ھەر بىر نۆۋەتتە ئالدىنقى پاراڭ تولۇق ساقلىنىپ، كۆزنەك تەدرىجىي تولىدۇ. claude.ai غا ئوخشاش چات كۆرۈنمىلىرى بولسا كونا قىسىمنى «ئاۋۋال كىرگەن ئاۋۋال چىقىدۇ» ئۇسۇلىدا باشقۇرۇشى مۇمكىن — شۇڭا ئۇزۇن پاراڭدا باشتىكى گەپ ھەقىقەتەن كۆزنەكتىن چىقىپ كېتىشى مۇمكىن.
قانچىلىك چوڭ؟
2023-يىلىدىكى «Lost in the Middle» تەتقىقاتىدا تىلغا ئېلىنىشىچە، Transformer مودېللىرى بۇرۇن كۆپىنچە 512–2048 token لىق كىچىك كۆزنەك بىلەن تەربىيەلەنگەن، كېيىن 4K، 32K ھەتتا 100K غا يەتكەن. ھازىر Anthropic ھۆججىتىدە كۆرسىتىلىشىچە، Claude نىڭ يېڭى مودېللىرىدا 1 مىليون token لىق كۆزنەك بار، بىر قېتىمدا 128K غىچە چىقىش token ى ھاسىل قىلالايدۇ؛ بەزى كونا مودېللاردا 200K. (بۇ سانلار تېز ئۆزگىرىدۇ؛ ئىشلىتىشتىن بۇرۇن رەسمىي بەتنى تەكشۈرۈڭ.)
كۆزنەك تولسا نېمە بولىدۇ؟ Anthropic API دا كىرگۈزۈشنىڭ ئۆزى كۆزنەكتىن ئېشىپ كەتسە، «prompt is too long» دېگەن خاتالىق قايتىدۇ. جاۋاب يېزىش جەريانىدا چەككە يەتسە، يېڭى مودېللاردا جاۋاب شۇ يەردە توختايدۇ.
چوڭ كۆزنەك ≠ ياخشى ئەستە ساقلاش
بۇ ماقالىنىڭ ئەڭ مۇھىم نۇقتىسى شۇ. Stanford قاتارلىق تەتقىقاتچىلار (Liu قاتارلىقلار، 2023) «Lost in the Middle» ماقالىسىدە، جاۋاب بار ھۆججەتنى كۆزنەكنىڭ باشقا، ئوتتۇرىغا ياكى ئاخىرىغا قويۇپ سىنىغان. نەتىجە U شەكىللىك ئەگرى سىزىق بولغان: مۇھىم ئۇچۇر ئەڭ باشتا ياكى ئەڭ ئاخىردا بولغاندا ئۈنۈم ئەڭ يۇقىرى، ئوتتۇرىدا بولغاندا كۆرۈنەرلىك تۆۋەنلىگەن.
مىسال: GPT-3.5-Turbo دا 20 ھۆججەتلىك سىناقتا، جاۋاب ھۆججىتى بىرىنچى ئورۇندا بولغاندا توغرىلىق 75.8%، ئوتتۇرىدا (10-ئورۇن) بولغاندا 53.8% گە چۈشكەن — بۇ ھەتتا ھېچقانداق ھۆججەت بەرمىگەندىكى 56.1% تىنمۇ تۆۋەن. يەنە: كۆزنىكى چوڭايتىلغان نۇسخىلار (مەسىلەن 16K) ئوخشاش ئۇزۇنلۇقتىكى تېكىستتە ئەسلى نۇسخىدىن ياخشى ئىشلىمىگەن.
Anthropic بۇ ھادىسىنى context rot (مەزمۇن چىرىشى) دەپ ئاتايدۇ: token سانى كۆپەيگەنسېرى توغرىلىق ۋە ئەسلەش ئاجىزلايدۇ. ئۇلارنىڭ «Effective context engineering» ماقالىسىدە، مودېلنىڭ چەكلىك «دىققەت بۇيۇجېتى» بارلىقى، ھەر يېڭى token ئۇنى ئازراق سەرپ قىلىدىغانلىقى، بۇ ھادىسىنىڭ بارلىق مودېللاردا كۆرۈلىدىغانلىقى يېزىلغان.
ئەمەلىي مەسلىھەتلەر
مۇھىم كۆرسەتمە ۋە سوئالنى باشقا ياكى ئاخىرغا قويۇڭ؛ ئوتتۇرىغا كۆمۈۋەتمەڭ. ئۇزۇن ھۆججەتتىن كېيىن سوئالنى قايتا يېزىش ياردەم بېرىدۇ.
ھەممىنى تاشلىماڭ. RAG قىلغاندا 50 ھۆججەت ئەمەس، ئەڭ مۇناسىۋەتلىك ئازراقىنى بېرىڭ — تەتقىقاتتا 20 دىن 50 گە كۆپەيتىش توغرىلىقنى پەقەت ~1–1.5% ئاشۇرغان، لېكىن تەننەرخ ۋە كېچىكىش ئاشقان.
پاراڭ ئۇزۇن بولسا، خۇلاسە قىلىپ يېڭى پاراڭ باشلاڭ. Anthropic بۇنى compaction (ئىخچاملاش) دەيدۇ: تولۇشقا يېقىن پاراڭنى خۇلاسىلەپ، يېڭى كۆزنەكنى شۇ خۇلاسە بىلەن باشلاش.
ئاگېنتلاردا ئۇچۇرنى كۆزنەك سىرتىدا ساقلاڭ: خاتىرە ھۆججىتى (مەسىلەن NOTES.md)، ۋە لازىم بولغاندا ھۆججەتنى ئاندىن ئوقۇش (just-in-time).
كىچىك، تازا ۋەزىپىلەرنى تارماق ئاگېنتلارغا بېرىڭ؛ ئۇلار پەقەت قىسقا خۇلاسە قايتۇرسۇن.
Anthropic نىڭ يىغىنچاقلىشىچە، ياخشى context engineering — «مەقسەتلىك نەتىجىنىڭ ئېھتىماللىقىنى ئەڭ يۇقىرى قىلىدىغان، ئەڭ كىچىك، ئەڭ مەنىلىك token توپلىمىنى تېپىش».
قىسقا مىسال تەلەپ
<document>
... ئۇزۇن ھۆججەت ...
</document>
ۋەزىپە: يۇقىرىدىكى ھۆججەتتىن پەقەت ئۈچ نەرسىنى تېپىڭ:
ۋاقىت، ئورۇن، مەسئۇل ئادەم.
جاۋابنى ئۇيغۇرچە، ئۈچ قۇر قىلىپ يېزىڭ. ھۆججەتتە يوق بولسا «يوق» دەڭ.بۇ يەردە ۋەزىپە ئۇزۇن ھۆججەتتىن كېيىن — ئاخىرىدا تۇرىدۇ، شۇڭا مودېل ئۇنى ئېنىق كۆرىدۇ.
ئېسىڭىزدە بولسۇن
Context window — مودېلنىڭ بىر قېتىمدا كۆرەلەيدىغان خىزمەت ئەستە ساقلىشى. ئۇ چەكلىك، ئۇنىڭغا ھەممە نەرسە كىرىدۇ، چوڭ بولغىنى بىلەن ھەممىنى ئوخشاش ياخشى ئەسلىمەيدۇ. مۇھىمنى باش-ئاخىرغا قويۇڭ، ئارتۇقنى كېسىڭ، ئۇزۇن ئىشتا خۇلاسە ۋە خاتىرە ئىشلىتىڭ.
مەنبە: Anthropic — Context windowsمەنبە: Anthropic — Effective context engineering for AI agentsمەنبە: Liu et al. — Lost in the Middle (arXiv:2307.03172)چوڭ تىل مودېلى قانداق جاۋاب بېرىدۇئويلىنىش مودېللىرى — Chain of ThoughtFine-tuning بىلەن RAGئۆز AI ئاگېنتىڭىزنى قانداق قۇرىسىزPrompt Engineering