Ollama & يەرلىك LLM

# يەرلىك Ollama تاللا ─────────────────────────────────
✓ شىركەت ئىچىدىكى سىر ھۆججەتلەرنى تەھلىل قىلغاندا
✓ كۆپ مىقداردىكى batch ئىجرا (API خارجىيىتى يۇقىرى بولغاندا)
✓ ئىنتېرنېت يوق مۇھىتتا (embedded، IoT، قىشلاق)
✓ GDPR / HIPAA ماسلىشىش تەلەپ بولغاندا
✓ تەجرىبە ۋە تەرەققىيات مۇھىتتا
✓ Fine-tuned مودېلنى يايدۇرغاندا

# API (OpenAI/Claude) تاللا ──────────────────────────
→ ئەڭ يۇقىرى ئىقتىدار تەلەپ بولغاندا (GPT-4o، Claude 4)
→ ئىشلەتكۈچى كۆپ بولغاندا (مىقياسلاش ئاسان)
→ Multimodal (رەسىم، ئاۋاز) ۋەزىپىلىرىدە
→ ئاپپارات يوق، پەقەت كودنى يازغاندا

# ئارلاش — ئەڭ ئاقىللىق ─────────────────────────────
★ ئاددىي ۋەزىپە → يەرلىك Ollama (ئارزان)
★ مۇرەككەپ ۋەزىپە → Claude/GPT-4o (كۈچلۈك)
★ LangChain ئارقىلىق ئىككىسىنى بىرگە باشقۇرۇش

# ── Mac / Linux (بىر قۇر) ──────────────────────────────
curl -fsSL https://ollama.com/install.sh | sh

# ── Windows ────────────────────────────────────────────
# https://ollama.com/download/OllamaSetup.exe چۈشۈرۈپ ئورنىت

# ── Docker ─────────────────────────────────────────────
# CPU فەقەت
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# NVIDIA GPU بىلەن
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

# ── تەكشۈرۈش ───────────────────────────────────────────
ollama --version          # → ollama version 0.4.x
curl http://localhost:11434  # → "Ollama is running"

# ── تۇنجى مودېل چۈشۈرۈش ───────────────────────────────
ollama pull llama3.2:3b   # 2GB — تېز سىناق ئۈچۈن
ollama pull llama3.1:8b   # 4.7GB — ئادەتتىكى ئىشلىتىش
ollama run llama3.2:3b    # چۈشۈرۈپ بىۋاسىتە باشلا

# ── مۇھىت ئۆزگەرگۈچلەر ─────────────────────────────────
# Linux/Mac
export OLLAMA_HOST=0.0.0.0:11434    # تارماق ئارقىلىق كىرىشكە رۇخسەت
export OLLAMA_MODELS=/data/models   # مودېل ساقلاش يولى
export OLLAMA_NUM_PARALLEL=4        # بىر ۋاقىتتا نەچچە سوئال
export CUDA_VISIBLE_DEVICES=0,1     # GPU تاللاش

# ══ مودېل باشقۇرۇش ═══════════════════════════════════
ollama pull llama3.1:8b       # چۈشۈرۈش
ollama pull qwen2.5:7b-q4_0  # Q4 سانلىق تۆۋەنلىتىلگەن
ollama list                   # بارلىق ئورنىتىلغان مودېللار
ollama show llama3.1:8b       # مودېل ئۇچۇرى
ollama rm llama3.1:8b         # ئۆچۈرۈش
ollama cp llama3.1:8b mymodel # كۆچۈرۈش
ollama ps                     # ھازىر ئىجرادىكى مودېللار

# ══ سۆھبەت ═══════════════════════════════════════════
ollama run llama3.1:8b        # ئىنتېراكتىپ سۆھبەت
# >>> سوئالىڭىزنى يېزىڭ
# >>> /bye  — چىقىش
# >>> /clear  — تارىخنى تازىلاش
# >>> /set temperature 0.5  — تەڭشەش
# >>> /show info  — مودېل ئۇچۇرى

# ══ بىر قېتىملىق سوئال ════════════════════════════════
echo "Python دا hello world يازغىن" | ollama run llama3.1:8b

ollama run llama3.1:8b "ئۇيغۇر تىلى ھەققىدە قىسقا چۈشەندۈر"

# ══ ھۆججەت بىلەن ══════════════════════════════════════
cat document.txt | ollama run llama3.1:8b "بۇ ھۆججەتنى خۇلاسىلا"

# ══ Modelfile بىلەن ئۆز مودېل ════════════════════════
cat > Modelfile <<EOF
FROM llama3.1:8b

PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER num_ctx 8192

SYSTEM """
سەن idirak.com نىڭ AI ياردەمچىسىسەن.
پەقەت ئۇيغۇرچە جاۋاپ بەر.
كىسپانە ۋە دوستانە تونداش.
"""
EOF

ollama create idirak-ai -f Modelfile   # قۇرۇش
ollama run idirak-ai                   # ئىجرا
ollama push idirak-ai                  # Ollama Hub غا يوللاش

# ══ سانلىق تۆۋەنلىتىش (Quantization) ════════════════
# q4_0  → ئەڭ كىچىك، ئەڭ ئاستا سۈپەت
# q4_K_M → تەۋسىيە: باھا-ئىقتىدار توغرا تازلاپ
# q8_0  → يۇقىرى سۈپەت، چوڭرەك ھۆججەت
# fp16  → تولۇق توغرىلىق (VRAM كۆپ كېرەك)
ollama pull llama3.1:8b-q4_K_M  # تەۋسىيە

pip install ollama

import ollama

# ── 1. ئاددىي سوئال ─────────────────────────────────────
response = ollama.chat(
    model    = "llama3.1:8b",
    messages = [{"role": "user", "content": "ئۇيغۇر تىلى نىمە تىل؟"}]
)
print(response["message"]["content"])

# ── 2. System Prompt + كۆپ مەرتىبىلىك ──────────────────
messages = [
    {"role": "system",    "content": "سەن ئۇيغۇرچە مۇتەخەسسىسىسەن."},
    {"role": "user",      "content": "LangChain نىمە؟"},
    {"role": "assistant", "content": "LangChain — LLM چارچۇۋىسى..."},
    {"role": "user",      "content": "ئۇنداقتا Ollama نىمە؟"},
]
r = ollama.chat(model="llama3.1:8b", messages=messages)

# ── 3. Streaming ─────────────────────────────────────────
for chunk in ollama.chat(
    model    = "llama3.1:8b",
    messages = [{"role": "user", "content": "ئۇيغۇرستان ھەققىدە يازغىن"}],
    stream   = True
):
    print(chunk["message"]["content"], end="", flush=True)

# ── 4. Generate (تامغا مۆلچەرى) ─────────────────────────
r = ollama.generate(
    model  = "llama3.1:8b",
    prompt = "print('hello') # Python دا",
    options = {
        "temperature": 0.2,   # كود ئۈچۈن تۆۋەن
        "top_p":       0.9,
        "num_ctx":     4096,  # مەزمۇن دەرىچىسى
        "num_predict": 512,   # ئەڭ ئۇزۇن چىقىم
        "stop":        ["```", "###"],  # توختاش بەلگىسى
    }
)
print(r["response"])

# ── 5. Embedding ─────────────────────────────────────────
embed = ollama.embeddings(
    model  = "nomic-embed-text",  # ollama pull nomic-embed-text
    prompt = "ئۇيغۇر تىلى تۈركىي تىللار ئائىلىسىگە كىرىدۇ"
)
vector = embed["embedding"]  # → [0.12, -0.34, ...] (768 ئۆلچەم)
print(f"ۋېكتور ئۆلچىمى: {len(vector)}")

# ── 6. Async ─────────────────────────────────────────────
import asyncio
from ollama import AsyncClient

async def async_chat():
    client = AsyncClient()
    response = await client.chat(
        model    = "llama3.1:8b",
        messages = [{"role": "user", "content": "سالام!"}]
    )
    return response["message"]["content"]

asyncio.run(async_chat())

# ── 7. رەسىم بىلەن (Vision) ──────────────────────────────
import base64

with open("image.jpg", "rb") as f:
    img_b64 = base64.b64encode(f.read()).decode()

r = ollama.chat(
    model    = "llava:13b",
    messages = [{
        "role":   "user",
        "content": "بۇ رەسىمدە نېمە بار؟",
        "images": [img_b64]
    }]
)
print(r["message"]["content"])

from langchain_ollama            import ChatOllama, OllamaEmbeddings
from langchain_core.prompts       import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

# ── 1. ChatOllama مودېل ──────────────────────────────────
llm = ChatOllama(
    model       = "llama3.1:8b",
    temperature = 0.7,
    num_ctx     = 8192,         # مەزمۇن دەرىچىسى
    num_gpu     = 1,             # GPU سانى
    base_url    = "http://localhost:11434",
)

# ── 2. ئاددىي زەنجىر ─────────────────────────────────────
chain = (
    ChatPromptTemplate.from_template("{سوئال} ھەققىدە ئۇيغۇرچە چۈشەندۈر.")
    | llm
    | StrOutputParser()
)

ans = chain.invoke({"سوئال": "RAG"})
print(ans)

# ── 3. Ollama Embedding + Chroma RAG ─────────────────────
from langchain_chroma            import Chroma
from langchain.text_splitter     import RecursiveCharacterTextSplitter
from langchain_community.document_loaders import TextLoader

# ھەقسىز Embedding (Ollama ئارقىلىق)
embed = OllamaEmbeddings(model="nomic-embed-text")

# ھۆججەت يوللاش + بۆلۈش
docs   = TextLoader("uyghur_knowledge.txt").load()
chunks = RecursiveCharacterTextSplitter(chunk_size=500).split_documents(docs)

# Vector DB قۇرۇش (تولۇق ھەقسىز!)
vectordb = Chroma.from_documents(chunks, embed)

# RAG زەنجىرى
from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain

qa_prompt = ChatPromptTemplate.from_messages([
    ("system", "پەقەت بىرىلگەن مەزمۇنغا ئاساسلانغان جاۋاپ بەر:\n{context}"),
    ("human",  "{input}"),
])

rag_chain = create_retrieval_chain(
    vectordb.as_retriever(search_kwargs={"k": 4}),
    create_stuff_documents_chain(llm, qa_prompt)
)

result = rag_chain.invoke({"input": "ئۇيغۇر تىلى قانداق تىل؟"})
print(result["answer"])

# ── 4. Hybrid: Ollama يەرلىك + Claude ئالىي ─────────────
from langchain_anthropic import ChatAnthropic
from langchain_core.runnables import RunnableBranch

def is_complex(x):
    # مۇرەككەپ سوئاللارنى Claude غا يوللا
    return len(x["input"]) > 100

smart_chain = RunnableBranch(
    (is_complex, ChatAnthropic(model="claude-haiku-4-5-20261001")),
    llm   # ئاددىي → يەرلىك Ollama
) | StrOutputParser()

# ── REST API ئۇچۇرى ─────────────────────────────────────
# ئاساسلىق URL: http://localhost:11434

# ── 1. /api/chat ─────────────────────────────────────────
curl http://localhost:11434/api/chat -d '{
  "model": "llama3.1:8b",
  "messages": [{"role": "user", "content": "سالام!"}],
  "stream": false
}'

# ── 2. /api/generate ─────────────────────────────────────
curl http://localhost:11434/api/generate -d '{
  "model":  "llama3.1:8b",
  "prompt": "Python دا Fibonacci يازغىن",
  "stream": false,
  "options": {"temperature": 0.2, "num_ctx": 4096}
}'

# ── 3. /api/embeddings ───────────────────────────────────
curl http://localhost:11434/api/embeddings -d '{
  "model":  "nomic-embed-text",
  "prompt": "ئۇيغۇر تىلى"
}'

# ── 4. OpenAI ماسلاشقان API ─────────────────────────────
# Ollama OpenAI API نى ماسلايدۇ!
# base_url = "http://localhost:11434/v1"
from openai import OpenAI

client = OpenAI(
    base_url = "http://localhost:11434/v1",
    api_key  = "ollama"       # ئىختىيارى
)

response = client.chat.completions.create(
    model    = "llama3.1:8b",
    messages = [{"role": "user", "content": "ئۇيغۇر تىلى ھەققىدە"}],
)
print(response.choices[0].message.content)

# ── 5. Python requests بىلەن ─────────────────────────────
import requests, json

r = requests.post(
    "http://localhost:11434/api/chat",
    json = {
        "model":   "llama3.1:8b",
        "messages":[{"role": "user", "content": "سالام!"}],
        "stream":  False
    }
)
print(r.json()["message"]["content"])

# ── Docker بىلەن (ئەڭ ئاددىي) ──────────────────────────
docker run -d -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# http://localhost:3000 ئارقىلىق كىرىڭ

# ── pip بىلەن ───────────────────────────────────────────
pip install open-webui
open-webui serve      # → http://localhost:8080

# ── Docker Compose (Ollama + WebUI بىرگە) ───────────────
# docker-compose.yml ھۆججىتى:
version: '3.8'
services:
  ollama:
    image: ollama/ollama
    volumes: ['ollama:/root/.ollama']
    ports: ['11434:11434']

  webui:
    image: ghcr.io/open-webui/open-webui:main
    ports: ['3000:8080']
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
    depends_on: [ollama]

volumes: {ollama:}

# ── GPU ئىشلىتىشنى تەكشۈرۈش ─────────────────────────────
ollama run llama3.1:8b  # ئىجرا دەۋرىدە
nvidia-smi              # NVIDIA GPU كۆزىتىش
ollama ps               # VRAM ئىشلىتىشنى كۆرۈش

# ── GPU قەۋەت سانى تەڭشەش ───────────────────────────────
# OLLAMA_NUM_GPU env: -1=ئاپتوماتىك، 0=CPU، 1+=GPU قەۋەت سانى
OLLAMA_NUM_GPU=-1 ollama serve

# ── Modelfile ئارقىلىق تەپسىلىي تەڭشەش ─────────────────
FROM qwen2.5:7b

# ئاساسلىق پارامېتىرلار
PARAMETER temperature    0.7    # 0=جامع 2=ئىجادىيچان
PARAMETER top_p          0.9    # Nucleus Sampling
PARAMETER top_k          40     # Top-K Sampling
PARAMETER num_ctx        8192   # مەزمۇن دەرىچىسى (RAM ئاشىدۇ)
PARAMETER num_batch      512    # Batch ئۆلچىمى (GPU VRAM ئاشىدۇ)
PARAMETER num_gpu        999    # بارلىق GPU قەۋەتلىرى
PARAMETER num_thread     8      # CPU تىزمىسى سانى
PARAMETER num_keep       24     # System Prompt تامغا سانى
PARAMETER repeat_penalty 1.1   # تەكرارلىقنى بوستۇرۇش

SYSTEM """سەن ئۇيغۇرچە AI ياردەمچىسىسەن."""

# ── Flash Attention (تېزلىك +30%) ───────────────────────
PARAMETER use_mmap       1    # RAM Mapping
PARAMETER low_vram       0    # VRAM چەكلەنگەن بولسا 1

# ── Q4_K_M — تەۋسىيە سانلىق تۆۋەنلىتىش ─────────────────
# q4_K_M: ئەڭ ياخشى باھا-ئىقتىدار تازلاپ
# q5_K_M: بىر ئاز يۇقىرى سۈپەت، چوڭرەك
# q8_0:   ئۇنىۋەرسال بولسا تەۋسىيە
ollama pull llama3.1:8b-instruct-q4_K_M