Ollama ۋە يەرلىك LLM — Gemma 4، Qwen3.5

# يەرلىك Ollama تاللا ───────────────────────────────── 
 ✓  شىركەت ئىچىدىكى سىر ھۆججەتلەرنى تەھلىل قىلغاندا
 ✓  كۆپ مىقداردىكى batch ئىجرا (API خىراجىتى يۇقىرى بولغاندا)
 ✓  ئىنتېرنېت يوق مۇھىتتا (embedded، IoT، قىشلاق)
 ✓  GDPR / HIPAA ماسلىشىش تەلەپ بولغاندا
 ✓  تەجرىبە ۋە تەرەققىيات مۇھىتتا
 ✓  Fine-tuned مودېلنى يايدۇرغاندا

 # API (OpenAI/Claude) تاللا ────────────────────────── 
 →  ئەڭ يۇقىرى ئىقتىدار تەلەپ بولغاندا (GPT-6، Claude 5.5، Gemini 4)
 →  ئىشلەتكۈچى كۆپ بولغاندا (مىقياسلاش ئاسان)
 →  ئۇزۇن context ۋە مۇرەككەپ agent ۋەزىپىلىرىدە
 →  ئاپپارات يوق، پەقەت كودنى يازغاندا

 # ئارلاش — ئەڭ ئاقىللىق ───────────────────────────── 
 ★  ئاددىي ۋەزىپە → يەرلىك Ollama (ئارزان)
 ★  مۇرەككەپ ۋەزىپە → Claude/GPT (كۈچلۈك)
 ★  LangChain ئارقىلىق ئىككىسىنى بىرگە باشقۇرۇش

# ── Mac / Linux (بىر قۇر) ────────────────────────────── 
 curl -fsSL https://ollama.com/install.sh | sh 

 # ── Windows ──────────────────────────────────────────── 
 # https://ollama.com/download/OllamaSetup.exe چۈشۈرۈپ ئورنىتىڭ 

 # ── Docker ───────────────────────────────────────────── 
 # پەقەت CPU 
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 # NVIDIA GPU بىلەن 
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

 # ── تەكشۈرۈش ─────────────────────────────────────────── 
ollama --version           # → ollama version 0.40.x 
curl http://localhost:11434   # → "Ollama is running" 

 # ── تۇنجى مودېل چۈشۈرۈش ─────────────────────────────── 
 ollama pull gemma4:e2b     # ~4.6GB — تېز سىناق ئۈچۈن 
 ollama pull gemma4:e4b     # ~6.6GB — ئادەتتىكى ئىشلىتىش 
 ollama run gemma4:e2b      # چۈشۈرۈپ بىۋاسىتە باشلاش 

 # ── مۇھىت ئۆزگەرگۈچلەر ───────────────────────────────── 
 # Linux/Mac 
export OLLAMA_HOST=0.0.0.0:11434     # تارماق ئارقىلىق كىرىشكە رۇخسەت 
export OLLAMA_MODELS=/data/models    # مودېل ساقلاش يولى 
export OLLAMA_NUM_PARALLEL=4         # بىر ۋاقىتتا نەچچە سوئال 
export CUDA_VISIBLE_DEVICES=0,1      # GPU تاللاش

# ══ مودېل باشقۇرۇش ═══════════════════════════════════ 
ollama pull gemma4:e4b        # چۈشۈرۈش 
ollama pull qwen3.5:4b        # باشقا بىر مودېل 
ollama list                    # بارلىق ئورنىتىلغان مودېللار 
ollama show gemma4:e4b        # مودېل ئۇچۇرى 
ollama rm gemma4:e4b          # ئۆچۈرۈش 
ollama cp gemma4:e4b mymodel  # كۆچۈرۈش 
ollama ps                      # ھازىر ئىجرادىكى مودېللار 

 # ══ سۆھبەت ═══════════════════════════════════════════ 
ollama run gemma4:e4b         # ئىنتېراكتىپ سۆھبەت 
 # >>> سوئالىڭىزنى يېزىڭ
# >>> /bye  — چىقىش
# >>> /clear  — تارىخنى تازىلاش
# >>> /set parameter temperature 0.5  — تەڭشەش
# >>> /show info  — مودېل ئۇچۇرى 

 # ══ بىر قېتىملىق سوئال ════════════════════════════════ 
echo  "Python دا hello world يازغىن"  | ollama run gemma4:e4b

ollama run gemma4:e4b  "ئۇيغۇر تىلى ھەققىدە قىسقا چۈشەندۈر" 

 # ══ ھۆججەت بىلەن ══════════════════════════════════════ 
cat document.txt | ollama run gemma4:e4b  "بۇ ھۆججەتنى خۇلاسىلا" 

 # ══ Modelfile بىلەن ئۆز مودېل ════════════════════════ 
cat > Modelfile  <<EOF
FROM gemma4:e4b

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

SYSTEM """
سەن idirak.com نىڭ AI ياردەمچىسىسەن.
پەقەت ئۇيغۇرچە جاۋاب بەر.
كەسپىي ۋە دوستانە بول.
"""
EOF 

ollama create idirak-ai -f Modelfile    # قۇرۇش 
ollama run idirak-ai                    # ئىجرا 
ollama cp idirak-ai <username>/idirak-ai   # ollama.com ئىشلەتكۈچى ئىسمىڭىز 
 ollama push <username>/idirak-ai         # ollama.com غا يوللاش 

 # ══ سانلىق تۆۋەنلىتىش (Quantization) ════════════════ 
 # q4_0  → ئەڭ كىچىك، ئەڭ تۆۋەن سۈپەت 
 # q4_K_M → تەۋسىيە: سۈپەت بىلەن چوڭلۇق تەڭپۇڭ 
 # q8_0  → يۇقىرى سۈپەت، چوڭرەك ھۆججەت 
 # fp16  → تولۇق توغرىلىق (VRAM كۆپ كېرەك) 
ollama pull llama3.1:8b-instruct-q4_K_M   # تەۋسىيە

pip install ollama

import   ollama 

 # ── 1. ئاددىي سوئال ───────────────────────────────────── 
 response  =  ollama . chat (
    model    =  "gemma4:e4b" ,
    messages = [{ "role" :  "user" ,  "content" :  "ئۇيغۇر تىلى نېمە تىل؟" }]
)
 print ( response [ "message" ][ "content" ])

 # ── 2. System Prompt + كۆپ مەرتىبىلىك ────────────────── 
 messages  = [
    { "role" :  "system" ,     "content" :  "سەن ئۇيغۇرچە مۇتەخەسسىسىسەن." },
    { "role" :  "user" ,       "content" :  "LangChain نېمە؟" },
    { "role" :  "assistant" ,  "content" :  "LangChain — LLM چارچۇۋىسى..." },
    { "role" :  "user" ,       "content" :  "ئۇنداقتا Ollama نېمە؟" },
]
 r  =  ollama . chat (model= "gemma4:e4b" , messages= messages )

 # ── 3. Streaming ───────────────────────────────────────── 
 for   chunk   in   ollama . chat (
    model    =  "gemma4:e4b" ,
    messages = [{ "role" :  "user" ,  "content" :  "ئۇيغۇر مەدەنىيىتى ھەققىدە يازغىن" }],
    stream   =  True 
):
     print ( chunk [ "message" ][ "content" ], end= "" , flush= True )

 # ── 4. Generate (تېكىست تولۇقلاش) ───────────────────────── 
 r  =  ollama . generate (
    model  =  "gemma4:e4b" ,
    prompt =  "print('hello') # Python دا" ,
    options = {
         "temperature" :  0.2 ,    # كود ئۈچۈن تۆۋەن 
         "top_p" :        0.9 ,
         "num_ctx" :      4096 ,   # context چوڭلۇقى 
         "num_predict" :  512 ,    # ئەڭ ئۇزۇن چىقىم 
         "stop" :        [ "```" ,  "###" ],   # توختاش بەلگىسى 
    }
)
 print ( r [ "response" ])

 # ── 5. Embedding ───────────────────────────────────────── 
 embed  =  ollama . embed (
    model  =  "nomic-embed-text" ,   # ollama pull nomic-embed-text 
    input  =  "ئۇيغۇر تىلى تۈركىي تىللار ئائىلىسىگە كىرىدۇ" 
)
 vector  =  embed [ "embeddings" ][ 0 ]   # → [0.12, -0.34, ...] (768 ئۆلچەم) 
 print ( f"ۋېكتور ئۆلچىمى: {len(vector)}" )

 # ── 6. Async ───────────────────────────────────────────── 
 import   asyncio 
 from   ollama   import   AsyncClient 

 async def   async_chat ():
     client  =  AsyncClient ()
     response  =  await   client . chat (
        model    =  "gemma4:e4b" ,
        messages = [{ "role" :  "user" ,  "content" :  "سالام!" }]
    )
     return   response [ "message" ][ "content" ]

 asyncio . run ( async_chat ())

 # ── 7. رەسىم بىلەن (Vision) ────────────────────────────── 
 import   base64 

 with   open ( "image.jpg" ,  "rb" )  as   f :
     img_b64  =  base64 . b64encode ( f . read ()). decode ()

 r  =  ollama . chat (
    model    =  "gemma4:e4b" ,
    messages = [{
         "role" :    "user" ,
         "content" :  "بۇ رەسىمدە نېمە بار؟" ,
         "images" : [ img_b64 ]
    }]
)
 print ( r [ "message" ][ "content" ])

from   langchain_ollama              import   ChatOllama ,  OllamaEmbeddings 
 from   langchain_core.prompts         import   ChatPromptTemplate 
 from   langchain_core.output_parsers   import   StrOutputParser 

 # ── 1. ChatOllama مودېل ────────────────────────────────── 
 llm  =  ChatOllama (
    model       =  "gemma4:e4b" ,
    temperature =  0.7 ,
    num_ctx     =  8192 ,          # context چوڭلۇقى 
    num_gpu     =  1 ,              # GPU سانى 
    base_url    =  "http://localhost:11434" ,
)

 # ── 2. ئاددىي زەنجىر ───────────────────────────────────── 
 chain  = (
     ChatPromptTemplate . from_template ( "{سوئال} ھەققىدە ئۇيغۇرچە چۈشەندۈر." )
    |  llm 
    |  StrOutputParser ()
)

 ans  =  chain . invoke ({ "سوئال" :  "RAG" })
 print ( ans )

 # ── 3. Ollama Embedding + Chroma RAG ───────────────────── 
 from   langchain_chroma              import   Chroma 
 from   langchain_text_splitters      import   RecursiveCharacterTextSplitter 
 from   langchain_community.document_loaders   import   TextLoader 

 # ھەقسىز Embedding (Ollama ئارقىلىق) 
 embed  =  OllamaEmbeddings (model= "nomic-embed-text" )

 # ھۆججەت يۈكلەش + بۆلۈش 
 docs    =  TextLoader ( "uyghur_knowledge.txt" ). load ()
 chunks  =  RecursiveCharacterTextSplitter (chunk_size= 500 ). split_documents ( docs )

 # Vector DB قۇرۇش (تولۇق ھەقسىز!) 
 vectordb   =  Chroma . from_documents ( chunks ,  embed )
 retriever  =  vectordb . as_retriever (search_kwargs={ "k" :  4 })

 # RAG زەنجىرى (LCEL) 
 qa_prompt  =  ChatPromptTemplate . from_messages ([
    ( "system" ,  "پەقەت بېرىلگەن مەزمۇنغا ئاساسلىنىپ جاۋاب بەر:\n{context}" ),
    ( "human" ,   "{input}" ),
])

 def   format_docs ( docs ):
     return   "\n\n" . join ( d . page_content   for   d   in   docs )

 question  =  "ئۇيغۇر تىلى قانداق تىل؟" 
 context   =  format_docs ( retriever . invoke ( question ))
 answer    = ( qa_prompt  |  llm  |  StrOutputParser ()). invoke ({ "context" :  context ,  "input" :  question })
 print ( answer )

 # ── 4. Hybrid: Ollama يەرلىك + Claude ئالىي ───────────── 
 from   langchain_anthropic   import   ChatAnthropic 
 from   langchain_core.runnables   import   RunnableBranch 

 def   is_complex ( x ):
     # مۇرەككەپ سوئاللارنى Claude غا يوللا 
     return   len ( x [ "input" ]) >  100 

 smart_chain  =  RunnableBranch (
    ( is_complex ,  ChatAnthropic (model= "claude-haiku-5-5" )),
     llm     # ئاددىي → يەرلىك Ollama 
) |  StrOutputParser ()

# ── REST API ئۇچۇرى ───────────────────────────────────── 
 # ئاساسلىق URL: http://localhost:11434 

 # ── 1. /api/chat ───────────────────────────────────────── 
curl http://localhost:11434/api/chat -d  '{
  "model": "gemma4:e4b",
  "messages": [{"role": "user", "content": "سالام!"}],
  "stream": false
}' 

 # ── 2. /api/generate ───────────────────────────────────── 
curl http://localhost:11434/api/generate -d  '{
  "model":  "gemma4:e4b",
  "prompt": "Python دا Fibonacci يازغىن",
  "stream": false,
  "options": {"temperature": 0.2, "num_ctx": 4096}
}' 

 # ── 3. /api/embed ─────────────────────────────────── 
curl http://localhost:11434/api/embed -d  '{
  "model":  "nomic-embed-text",
  "input": "ئۇيغۇر تىلى"
}' 

 # ── 4. OpenAI ماسلاشقان API ───────────────────────────── 
 # Ollama OpenAI API شەكلىنى قوللايدۇ! 
 # base_url = "http://localhost:11434/v1" 
 from   openai   import   OpenAI 

 client  =  OpenAI (
    base_url =  "http://localhost:11434/v1" ,
    api_key  =  "ollama"         # ئىختىيارى 
)

 response  =  client . chat . completions . create (
    model    =  "gemma4:e4b" ,
    messages = [{ "role" :  "user" ,  "content" :  "ئۇيغۇر تىلى ھەققىدە" }],
)
 print ( response . choices [ 0 ]. message . content )

 # ── 5. Python requests بىلەن ───────────────────────────── 
 import   requests ,  json 

 r  =  requests . post (
     "http://localhost:11434/api/chat" ,
    json = {
         "model" :    "gemma4:e4b" ,
         "messages" :[{ "role" :  "user" ,  "content" :  "سالام!" }],
         "stream" :   False 
    }
)
 print ( r . json ()[ "message" ][ "content" ])

# ── Docker بىلەن (ئەڭ ئاددىي) ────────────────────────── 
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

 # http://localhost:3000 ئارقىلىق كىرىڭ 

 # ── pip بىلەن ─────────────────────────────────────────── 
pip install open-webui
open-webui serve       # → http://localhost:8080 

 # ── Docker Compose (Ollama + WebUI بىرگە) ─────────────── 
 # docker-compose.yml ھۆججىتى: 
 services :
   ollama :
     image : ollama/ollama
     volumes : [ 'ollama:/root/.ollama' ]
     ports : [ '11434:11434' ]

   webui :
     image : ghcr.io/open-webui/open-webui:main
     ports : [ '3000:8080' ]
     environment :
      -  OLLAMA_BASE_URL=http://ollama:11434 
     depends_on : [ollama]

 volumes : {ollama:}

# ── GPU ئىشلىتىشنى تەكشۈرۈش ───────────────────────────── 
ollama run gemma4:e4b --verbose   # ھەر جاۋابتىن كېيىن eval rate (token/s) نى كۆرسىتىدۇ 
nvidia-smi                        # NVIDIA GPU كۆزىتىش 
ollama ps                         # مودېل GPU دىمۇ ياكى CPU دىمۇ — كۆرۈش 

# ── مۇلازىمېتىر مۇھىت ئۆزگەرگۈچىلىرى ─────────────────── 
OLLAMA_CONTEXT_LENGTH=8192 \
OLLAMA_FLASH_ATTENTION=1 \
OLLAMA_KV_CACHE_TYPE=q8_0 \
OLLAMA_KEEP_ALIVE=30m \
ollama serve
# CONTEXT_LENGTH — سۈكۈتتىكى context چوڭلۇقى 
# FLASH_ATTENTION — ئەسلىمە ئىشلىتىشنى ئازايتىدۇ (قوللايدىغان ئاپپاراتتا ئاپتوماتىك) 
# KV_CACHE_TYPE  — q8_0: K/V cache نىڭ ئەسلىمىسىنى تەخمىنەن يېرىمغا چۈشۈرىدۇ 
# KEEP_ALIVE     — مودېل ئەسلىمىدە قانچە ۋاقىت تۇرىدۇ 

# ── Modelfile ئارقىلىق تەڭشەش ─────────────────────────── 
FROM gemma4:e4b

PARAMETER temperature    0.7     # تۆۋەن = مۇقىم، يۇقىرى = ئىجادىي 
PARAMETER top_p          0.9 
PARAMETER top_k          40 
PARAMETER num_ctx        8192    # context چوڭلۇقى (ئەسلىمە ئاشىدۇ) 
PARAMETER repeat_penalty 1.1     # تەكرارلاشنى ئازايتىش 

SYSTEM """سەن ئۇيغۇرچە AI ياردەمچىسىسەن."""