ئۇيغۇر تىلى سۈنئىي ئىدراك دۇنياسىدا قەيەردە تۇرىدۇ؟
ئۇيغۇر تىلى ۋە AI: تۆۋەن مەنبەلىك تىل مەسىلىسى
ChatGPT دىن ئۇيغۇرچە سورىسىڭىز جاۋاب بېرىدۇ — ئەمما جاۋابنىڭ سۈپىتى ئىنگلىزچىدىكىگە يەتمەيدۇ. تەرجىمە بەزىدە كۈلكىلىك خاتالىشىدۇ. بۇ تاسادىپىي ئەمەس، سەۋەبى بار.
ئۇيغۇر تىلى — سۈنئىي ئىدراك ساھەسىدە «تۆۋەن مەنبەلىك تىل» (low-resource language) دەپ ئاتىلىدىغان توپقا كىرىدۇ. بۇ ماقالە شۇ ئاتالغۇنىڭ نېمە دېگەنلىك ئىكەنلىكىنى، ئۇيغۇرچىنى قايسى تەرەپلەردىن قىينايدىغانلىقىنى ۋە نېمە قىلغىلى بولىدىغانلىقىنى چۈشەندۈرىدۇ.
«تۆۋەن مەنبەلىك تىل» نېمە دېگەنلىك؟
مودېلنىڭ بىر تىلنى قانچىلىك ياخشى بىلىشى، شۇ تىلدا قانچىلىك تېكىست بىلەن تەربىيەلەنگەنلىكىگە بىۋاسىتە باغلىق. تور بەتلىرىنىڭ يېرىمىدىن كۆپرەكى ئىنگلىزچە؛ ئۇيغۇرچە بولسا پىرسەنتنىڭ مىڭدىن بىر ئۈلۈشىدىمۇ يەتمەيدۇ.
نەتىجىدە بىر مودېل ئىنگلىزچىنى مىليارتلىغان جۈملىدىن ئۆگىنىدۇ، ئۇيغۇرچىنى بولسا سېلىشتۇرغۇسىز ئاز مىسالدىن. ئۇنىڭ ئۈستىگە شۇ ئازغىنە ئۇيغۇرچە ماتېرىيالنىڭمۇ كۆپ قىسمى ماشىنا تەرجىمىسىدىن كەلگەن ۋە خاتالىقى بار.
ئۇيغۇرچىنى قىينايدىغان تۆت مەسىلە
1. بەلگىگە ئايرىش (tokenization)
مودېل تېكىستنى «بەلگە» (token) دەپ ئاتىلىدىغان كىچىك بۆلەكلەرگە بۆلۈپ ئوقۇيدۇ. بۇ بۆلۈش قائىدىسى ئاساسەن ئىنگلىزچىگە قاراپ تۈزۈلگەن.
ئۇيغۇر تىلى — قوشۇمچىلىق (agglutinative) تىل. «كىتاب» دىن «كىتابلىرىمىزدىكىلەردىن» غا قەدەر بىر سۆزگە قوشۇمچە ئۈستىگە قوشۇمچە ئۇلىنىدۇ. ئىنگلىزچىگە ماسلاشتۇرۇلغان بەلگىلىگۈچ بۇنداق سۆزنى مەنىسىز پارچىلارغا بۆلۈۋېتىدۇ.
ئەمەلىي نەتىجىسى: ئوخشاش مەنىدىكى جۈملە ئۇيغۇرچىدە ئىنگلىزچىدىكىدىن بىر نەچچە ھەسسە كۆپ بەلگە ئىگىلەيدۇ. بۇ ئۈچ تەرەپتىن زىيان — context كۆزنىكى تېزرەك تولىدۇ، API خىراجىتى ئېشىپ كېتىدۇ، ۋە مودېلنىڭ سۆز ئىچىدىكى مەنە قۇرۇلمىسىنى تونۇشى قىيىنلىشىدۇ.
2. يېزىق ۋە يۆنىلىش
ئۇيغۇرچە ئەرەب يېزىقىدا، ئوڭدىن سولغا يېزىلىدۇ. تور بەتلىرىدە RTL تەڭشىكى خاتا بولسا تېكىست بۇزۇلىدۇ، ھەرپلەر ئايرىلىپ كېتىدۇ ياكى تەتۈر كۆرۈنىدۇ.
بۇ پەقەت كۆرۈنۈش مەسىلىسى ئەمەس: بۇزۇلغان تېكىست تور تىتىلغاندا شۇ پېتى يىغىلىدۇ ۋە مودېلنىڭ تەربىيە ماتېرىيالىغا كىرىپ كېتىدۇ. يەنى بىر بەتتىكى تېخنىكىلىق سەۋەنلىك مودېلنىڭ ئۇيغۇرچىسىنى ناچارلاشتۇرىدۇ.
3. ئىملا ئۆلچىمىنىڭ ئوخشىماسلىقى
ئوخشاش سۆز ئوخشىمىغان يەردە ئوخشىمىغان يېزىلىدۇ. ئۇنىڭ ئۈستىگە ئۇيغۇرچە ئۈچ يېزىقتا يېزىلىدۇ: ئەرەب يېزىقى (ئەڭ كۆپ)، لاتىن يېزىقى (ULY) ۋە كىرىل يېزىقى.
مودېل ئۈچۈن بۇ ئۈچ يېزىق ئۈچ باشقا تىلغا ئوخشايدۇ. ئەرەب يېزىقىدا تەربىيەلەنگەن مودېل لاتىن يېزىقىدىكى ئۇيغۇرچىنى تونۇمايدۇ.
4. باھالاش ئۆلچىمىنىڭ يوقلۇقى
ئىنگلىزچە ئۈچۈن ئونلىغان ئۆلچەم سىنىقى بار. ئۇيغۇرچە ئۈچۈن ئاساسەن يوق. شۇڭا «قايسى مودېل ئۇيغۇرچىدە ياخشى؟» دېگەن سوئالغا سان بىلەن جاۋاب بېرەلمەيمىز.
ئۆلچەم بولمىسا ياخشىلىنىشنىمۇ ئۆلچىگىلى بولمايدۇ — بۇ ئەڭ زور توسالغۇلارنىڭ بىرى.
قىلغىلى بولىدىغان ئىشلار
| ئۇسۇل | نېمە قىلىدۇ | كىم قىلالايدۇ |
| سۈپەتلىك تېكىست ئېلان قىلىش | مودېلنىڭ ئۆگىنىدىغان ماتېرىيالىنى كۆپەيتىدۇ | ھەر قانداق يازغۇچى |
| RTL نى توغرا تەڭشەش | تور بېتىدىكى تېكىستنىڭ بۇزۇلماي يىغىلىشىنى كاپالەتلەندۈرىدۇ | تور بەت ياسىغۇچىلار |
| ئىملا ئۆلچىمىگە رىئايە قىلىش | ئوخشاش سۆزنىڭ بىر خىل يېزىلىشىنى ئۈنۈمگە ئىگە قىلىدۇ | تەھرىر ۋە مەزمۇن ياسىغۇچىلار |
| قوش تىللىق ماتېرىيال تەييارلاش | تەرجىمە مودېلىنىڭ ئاساسىي ئوزۇقى | تەرجىمانلار |
| ئاۋاز ۋە تېكىست جۈپلىمىسى | ASR ۋە TTS مودېللىرىنى تەربىيەلەشكە كېرەك | ئاۋاز ئارخىپى بارلار |
| ئۆلچەم سىنىقى تۈزۈش | ياخشىلىنىشنى ئۆلچىگىلى بولىدىغان قىلىدۇ | تەتقىقاتچىلار |
ئۆز ۋەزىپىڭىزدە نەتىجىنى ياخشىلاش
ئۇزۇن جۈملىنى قىسقارتىڭ. قوشۇمچە كۆپ بولغان ئۇزۇن جۈملە مودېلنى قىينايدۇ.
مۇھىم ئاتالغۇنى ئىنگلىزچىسى بىلەن بىللە بېرىڭ. مودېل ئىنگلىزچە ئاتالغۇنى ئېنىق بىلىدۇ، ئۇيغۇرچىسىنى بەلكىم بىلمەسلىكى مۇمكىن.
Few-shot ئىشلىتىڭ: 2-3 پارچە ئۇيغۇرچە مىسال بېرىش زېرو-shot تىن سەزگۈر ياخشى نەتىجە بېرىدۇ.
مۇھىم خىزمەتتە جاۋابنى چوقۇم تەكشۈرۈڭ. ئۇيغۇرچىدە ئويدۇرما جاۋاب (hallucination) نىسبىتى ئىنگلىزچىدىكىدىن يۇقىرى.
ئۆز ۋەزىپىڭىزدىن 20-50 مىسال ئېلىپ كىچىك بىر باھالاش توپلىمى قۇرۇڭ — بۇ سىزگە ئۆز ئۆلچىمىڭىزنى بېرىدۇ.
مەنبەلەر
Idirak — ئۇيغۇرچە AI ئاتالغۇلار لۇغىتى: https://www.idirak.com/articles/uyghur-ai-glossary
Idirak — نازۇك تەڭشەش (fine-tuning) قوللانمىسى: https://www.idirak.com/articles/fine-tuning
Hugging Face — تۆۋەن مەنبەلىك تىللار ئۈچۈن مودېل ۋە سانلىق مەلۇمات: https://huggingface.co/
تۈزگۈچى: سۈنئىي ئىدراك — idirak.com ئۈچۈن ئۇيغۇر تىلى ۋە AI تەھلىلى
low-resource language · tokenization · RTL · ULY