Fine-tuning

01

Fine-tuning دېگەن نېمە؟

What Is Fine-tuning?

Pretrained model نىڭ بىلىمىنى ئۆز ۋەزىپىڭىزگە ماسلاشتۇرۇش

Fine-tuning — ئاللىبۇرۇن pretraining قىلغان مودېلنى ئۆزىڭىزنىڭ data ۋە objective ىڭىز بىلەن قايتا تەڭشەش. نىشانى يېڭى دۇنيا بىلىمىنى «كۆچۈرۈش» ئەمەس؛ بەلكى مودېلنىڭ قىلمىش، ئۇسلۇپ، فورمات ۋە مەخسۇس ۋەزىپە ماھارىتى نى ياخشىلاش.

Pretraining

زور مىقداردا data

ئومۇمىي بىلىم

بەك قىممەت

Fine-tuning

task-specific behavior

ئازراق data بىلەنمۇ بولىدۇ

serving strategy لازىم

Prompting Only

قۇرۇش تېز

behavior stability چەكلىك

format drift بولۇشى مۇمكىن

02

قاچان Fine-tuning قىلىمىز؟

When It Actually Makes Sense

ھەر قانداق مەسىلىگە fine-tuning قىلماڭ؛ نىشان ئېنىق بولسۇن

Use Case 01

Style Control

ئۇسلۇپنى مۇستەھكەملەش

Brand voice، support tone ياكى report style دائىم ئوخشاش بولسۇن دېسىڭىز fine-tuning پايدىلىق.

Use Case 02

Structured Output

مۇقىم فورمات

Always-valid JSON، label schema ياكى strict extraction task لاردا prompt only دائىم يېتەرلىك بولمايدۇ.

Use Case 03

Narrow Skill

بەلگىلىك task ماھارىتى

Classification، rewrite، routing ياكى domain-specific instruction following ئۈچۈن ياخشى.

Avoid

Fresh Knowledge

يېڭى بىلىمنى ساقلاش ئۈچۈن ئەمەس

Docs دائىم يېڭىلىنىدىغان بولسا RAG ياخشى. Fine-tuning نى live knowledge database دەپ قارىماڭ.

قىسقا قارار قائىدىسى

ئەگەر مەسىلە behavior، style ياكى format stability بولسا fine-tuning نى ئويلاڭ. ئەگەر مەسىلە fresh facts ياكى document grounding بولسا RAG نى ئالدىغا قويۇڭ.

03

SFT، LoRA ۋە QLoRA

Choosing a Training Method

Full fine-tune نىلالا بىلمەسلىكنىڭ ئۆزىلا پايدا

ئۇسۇل	نېمە ئۆزگىرىدۇ	ئەۋزەللىكى	نۇقتا
SFT	instruction-following training	باشلىنىشقا چۈشىنىشلىك	ئەڭ كۆپ ئىشلىتىلىدۇ
Full Fine-tune	كۆپ پارامېتر	يۇقىرى flexibility	compute قىممەت
LoRA	adapter matrices	ئارزان، تېز	practical default
QLoRA	quantized base + LoRA	memory تېجەيدۇ	single GPU friendly

LORA CONFIGlora_config.py

from peft import LoraConfig

lora_config = LoraConfig(
    r=16,
    lora_alpha=32,
    lora_dropout=0.05,
    target_modules=["q_proj", "v_proj"],
    bias="none",
    task_type="CAUSAL_LM",
)

04

Dataset قانداق بولۇشى كېرەك؟

Data Quality Beats Data Volume

ئەڭ كۆپ خاتالىق dataset design تىن كېلىدۇ

Data 01

Match Production

Real-world input قا ئوخشىسۇن

Training prompt لىرى future production use-case غا ئوخشىمىسا model benchmark تا ياخشى، ئەمما production دا ناچار بولىدۇ.

Data 02

Write the Target

Response سۈپىتىنى ئۆزىڭىز بەلگىلەڭ

Model قا قانداق جاۋاب چىقىرىشنى ئۆگىتىۋاتىسىز. Weak target = weak model behavior.

Data 03

Diversity

مىساللار بىر خىل بولمىسۇن

Edge case، hard case ۋە normal case نى قوشۇڭ. پەقەت ئاددىي مىساللار بىلەن training قىلسىڭىز generalized behavior بولمايدۇ.

Data 04

Split Properly

train / eval نى ئايرىڭ

Eval set قا training sample ئوخشاپ قالسا fake success كۆرۈنىدۇ. Leakage دىن ساقلىنىڭ.

JSONLdataset.jsonl

{"messages":[
  {"role":"system","content":"You write concise Uyghur product summaries."},
  {"role":"user","content":"مەزكۇر SaaS قورالىنى 4 bullet دا تونۇشتۇر"},
  {"role":"assistant","content":"- ..."}
]}
{"messages":[
  {"role":"system","content":"Return valid JSON only."},
  {"role":"user","content":"Ticket نى category بويىچە classifiy قىلىڭ"},
  {"role":"assistant","content":"{\"label\":\"billing\",\"confidence\":0.93}"}
]}

05

Training Pipeline

Prepare, Train, Validate, Repeat

Fine-tuning بىر قېتىملىق button ئەمەس؛ iteration كېرەك

PYTHONtrain_flow.py

# high-level pipeline
dataset = load_jsonl("dataset.jsonl")
train_set, eval_set = split_dataset(dataset, ratio=0.9)

model = load_base_model("mistral-7b")
tokenizer = load_tokenizer("mistral-7b")

adapter = attach_lora(model)
trainer = build_trainer(
    model=adapter,
    train_dataset=train_set,
    eval_dataset=eval_set,
    batch_size=4,
    learning_rate=2e-4,
)

trainer.train()
metrics = trainer.evaluate()
save_adapter(adapter, "./ft-output")

ئەڭ كۆپ خاتالىق

Loss چۈشتى دەپلا project مۇۋەپپەقىيەتلىك بولمايدۇ. Production metric، held-out tasks ۋە human review يوق fine-tuning كۆپىنچە «pretty loss chart» بىلەنلا تۈگەيدۇ.

06

Evaluation قانداق بولۇشى كېرەك؟

Measure the Right Things

Training objective بىلەن business objective ئوخشاش بولمايدۇ

Metric	نېمىنى كۆرۈدۇ	قاچان مۇھىم	تەۋسىيە
Format Accuracy	JSON ياكى schema توغرامۇ	structured output	parser ئارقىلىق باھالاڭ
Task Accuracy	label/result توغرىمۇ	classification/extraction	gold set قۇرۇڭ
Style Match	tone and wording	brand voice	human rubric ئىشلىتىڭ
Latency/Cost	serve قىلالامدۇ	production traffic	base model بىلەن سېلىشتۇرۇڭ

Bad Eval

train examples نى قايتا سوراش

loss نىلا قاراش

Better Eval

held-out realistic tasks

parser + rubric + humans

Best Eval

online A/B ياكى shadow test

business KPI بىلەن باغلاش

07

Fine-tuning vs RAG vs Prompt Engineering

Pick the Right Lever

بىر-بىرىنىڭ ئورنىغا ھەممىسىنى ئىشلىتىش لازىم ئەمەس

مەسىلە	ئەڭ ياخشى چارە	نېمىشقا	ئىزاھ
ئۇسلۇپ دائىم ئۆزگىرىپ كەتتى	Fine-tuning	behavior stabilize قىلىدۇ	brand use-case
Docs تېز يېڭىلىنىدۇ	RAG	fresh knowledge لازىم	knowledge-heavy
Task ئاددىي، budget ئاز	Prompting	build fastest	prototype first
Format + grounded facts ئىككىسىمۇ لازىم	RAG + Fine-tune	behavior + facts	hybrid stack

Pragmatic path: ئالدى بىلەن prompt ۋە eval نى ياخشىلاڭ. كېيىن need بولسا RAG قوشۇڭ. Fine-tuning نى شۇنداقتىمۇ behavior gap قالغاندا ئىشلىتىڭ.

08

Deploy ۋە Maintenance

Serving, Versioning, and Rollback

Training ئاخىرلاشسا project تۈگىدى دېگەنلىك ئەمەس

Deploy

Version Everything

Dataset ۋە adapter نى version قىل

قايسى dataset، قايسى hyperparameter، قايسى checkpoint production دا يۈرۈۋاتقانلىقى ئېنىق بولسۇن.

Deploy

Rollback Ready

قايتىش يولى بولسۇن

New fine-tune سۈپەتنى ناچارلاشتۇرسا base model ياكى previous adapter غا تېز قايتالايسىز.

Deploy

Observe Drift

Online behavior نى كۆرۈپ تۇر

Real prompts dataset قا ئوخشىمايدۇ. Error bucket ۋە human feedback ئارقىلىق drift نى بايقاڭ.

Deploy

Retrain on Purpose

قايتا training نى بىھۇدە قىلما

مەسىلە knowledge freshness بولسا retrain ئەمەس، RAG ياكى retrieval layer نى ياخشىلاش لازىم بولۇشى مۇمكىن.

ئەڭ قىسقا يەكۈن

Fine-tuning = behavior engineering. Dataset، eval ۋە deployment discipline بولسالا پايدا بېرىدۇ. پەقەت training script نىڭ ئۆزى project ئەمەس.

ئۇيغۇرچە قوللانما — مودېلنى ئۆز ۋەزىپىڭىزگە خاسلاشتۇرۇش

قىسقا قارار قائىدىسى

ئەڭ كۆپ خاتالىق

ئەڭ قىسقا يەكۈن