✓ בחינם✓ ללא הגבלה✓ בלי פרסומות
הרבה כלים כאלה ברשת מוגבלים ומלאים בפרסומות. כאן לא, וגם בלי הרשמה – מתוך רצון לעשות חסד.
מסלול לימוד GPU ו-CUDA: מאיפה מתחילים?
שני מסלולים קצרים בעברית: אחד למי שרוצה להריץ AI על כרטיס NVIDIA, ואחד לסטודנטים להנדסת מחשבים שלומדים תכנות מקבילי וארכיטקטורה. בכל שלב – מושג אחד, תרגיל קטן, והכלי שעוזר.
לא צריך ידע קודם ב-GPU. צריך מחשב עם כרטיס NVIDIA (או חשבון בענן), ו-Python בסיסי.
להכיר את הכרטיס שלכם
לפני הכול: איזה כרטיס יש, כמה זיכרון, ואיזה דרייבר.
VRAM – הזיכרון שעל הכרטיס עצמו. הוא קובע איזה מודל בכלל נכנס. Compute Capability – הדור של הכרטיס (למשל 8.9 = RTX 40).
nvidia-smi
להתקין PyTorch שרואה את הכרטיס
הטעות הכי נפוצה: מתקינים PyTorch בלי CUDA, והכול רץ לאט על המעבד בלי שמרגישים.
CUDA – השפה והספריות של NVIDIA שמאפשרות לתוכנות להריץ חישובים על הכרטיס.
True ואת שם הכרטיס.python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"
להריץ מודל שפה ראשון
הדרך הכי קלה היא Ollama: פקודה אחת, והמודל רץ אצלכם, בלי אינטרנט ובלי לשלם.
קוונטיזציה – לשמור כל מספר במודל בפחות ביטים (8 או 4 במקום 16). המודל קטן פי 2–4 ונכנס לכרטיס קטן יותר.
להבין למה זה מהיר (או איטי)
כדי לכתוב כל מילה, הכרטיס קורא את כל המודל מהזיכרון. לכן מהירות הזיכרון חשובה יותר מכוח החישוב.
טוקן – חתיכת מילה (בערך ¾ מילה באנגלית). רוחב פס – כמה GB הכרטיס קורא בשנייה.
לאמן משהו קטן משלכם (LoRA)
לא מאמנים מודל מאפס. לוקחים מודל קיים ומלמדים אותו משהו קטן – סגנון, נושא, פורמט – עם LoRA.
LoRA – במקום לשנות את כל המודל, מוסיפים לו "מתאמים" קטנים ומאמנים רק אותם. חוסך הרבה זיכרון וזמן.
מתאים לקורסים כמו תכנות מקבילי, ארכיטקטורת מחשבים ומערכות מחשוב. צריך C בסיסי, כרטיס NVIDIA ו-CUDA Toolkit (או Google Colab עם GPU).
מודל התכנות: grid, block, thread
קרנל (kernel) הוא פונקציה שרצה אלפי פעמים במקביל. כל הרצה היא thread, ה-threads מקובצים לבלוקים, והבלוקים ל-grid.
warp – קבוצה של 32 threads שמבצעים את אותה פקודה באותו רגע (SIMT). אם יש if שמפצל אותם – הם מחכים זה לזה (divergence).
i < n – בלעדיה יש גישה מחוץ למערך.__global__ void add(const float* a, const float* b, float* c, int n) {
int i = blockIdx.x * blockDim.x + threadIdx.x;
if (i < n) c[i] = a[i] + b[i];
}
// launch: add<<<(n + 255) / 256, 256>>>(a, b, c, n);היררכיית הזיכרון
רגיסטרים (הכי מהיר, פרטי לכל thread) ← shared memory (משותף לבלוק, על השבב) ← global memory (ה-VRAM, גדול ואיטי יחסית).
coalescing – כש-32 threads של warp קוראים כתובות רצופות, הכרטיס מאחד אותן לקריאה אחת. קריאה "מפוזרת" יכולה להיות איטית פי כמה.
תשובה
כי כל ערך נקרא שוב ושוב על ידי threads שונים. טוענים אותו פעם אחת מה-global memory האיטי לזיכרון המשותף המהיר, וכולם קוראים משם. זה מוריד את מספר הגישות לזיכרון הגלובלי פי גודל האריח.Occupancy והסתרת השהיה
גישה לזיכרון לוקחת מאות מחזורי שעון. בזמן שwarp אחד מחכה, ה-SM עובר ל-warp אחר. כמה שיותר warps פעילים – יותר קל להסתיר את ההמתנה.
occupancy – כמה warps פעילים על SM מתוך המקסימום. מוגבל על ידי רגיסטרים, shared memory וגודל הבלוק.
תשובה
ב-64 רגיסטרים: הרגיסטרים מגבילים ל-4 בלוקים = 32 מתוך 48 warps (67%). ב-32 רגיסטרים: 6 בלוקים = 48 warps (100%).דיבאג על הכרטיס
שגיאה בקרנל לא תמיד קופצת במקום שבו היא קרתה – הקריאות לכרטיס אסינכרוניות. לכן בודקים שגיאה אחרי כל קריאה, ומריצים כלי שבודק כל גישה לזיכרון.
אסינכרוני – המעבד שולח עבודה לכרטיס וממשיך הלאה בלי לחכות. השגיאה מתגלה רק בסנכרון הבא.
if (i < n) מהתרגיל הראשון, הריצו עם n שלא מתחלק ב-256, ואז:compute-sanitizer ./add
Roofline: חסום-זיכרון או חסום-חישוב?
לכל קרנל יש עוצמה אריתמטית – כמה פעולות חישוב לכל בייט שנקרא. אם היא נמוכה, הקרנל מוגבל ברוחב הפס, ואין טעם לשפר את החישוב.
Roofline – גרף שמראה את התקרה של הכרטיס: מהירות מקסימלית = min(כוח חישוב, רוחב פס × עוצמה אריתמטית).
תשובה
פעולה אחת (חיבור) על כל 12 בייט (קוראים 2 × 4 וכותבים 4) ≈ 0.08 FLOP/byte. רחוק מאוד מהנקודה שבה הכרטיס חסום-חישוב, ולכן זה קרנל חסום-זיכרון. אותו עיקרון מסביר למה מודלי שפה כותבים בקצב של רוחב הפס.הדורות: מ-Volta עד Blackwell
כל דור הוסיף משהו: Volta – Tensor Cores ראשונים; Ampere – BF16 ו-TF32; Ada ו-Hopper – FP8; Hopper – Thread Block Clusters ו-TMA; Blackwell – FP4.
Tensor Core – יחידה שמבצעת כפל מטריצות קטנות בפקודה אחת. מכאן רוב הכוח של הכרטיסים ל-AI.
💛 הכלי הזה חינמי ובלי פרסומות. אני בונה אותו לבד ומשלם עליו מהכיס, באהבה. אם הוא עוזר לכם, אפשר להיות שותפים: חסות, תרגיל שתכתבו, או תמיכה קטנה.
הסימונים "סיימתי" נשמרים רק בטלפון שלכם. המסלול הוא הקדמה – הוא לא מחליף קורס או את CUDA Programming Guide של NVIDIA.
🎬 מאיפה מתחילים – ככה זה עובד
💛 באהבה ממיזם הכלים של גילעד רחמים · מיזם חינמי להנגשה. לא הכול זה כסף: רעיון, תוכן או עזרה בהפצה, או שותפות במיזם.
ללמוד GPU ו-CUDA בעברית, צעד אחרי צעד
שני מסלולים. הראשון למתחילים שרוצים להריץ AI על כרטיס NVIDIA: להכיר את הכרטיס, להתקין PyTorch שרואה אותו, להריץ מודל שפה ראשון, להבין למה זה מהיר או איטי, ולאמן משהו קטן עם LoRA.
לסטודנטים להנדסת מחשבים
המסלול השני הוא תכנות מקבילי ב-CUDA: מודל grid, block ו-thread, היררכיית הזיכרון, occupancy והסתרת השהיה, ועוד. ליד הרבה שלבים יש קישור לכלי באתר שעוזר לתרגל.
בחינם ובלי הרשמה. כלים מהדרך: מחולל פקודות GPU, מחשבון Occupancy ומחשבון VRAM.
למבנה מחשבים: ממיר בסיסים וביטים.
איך משתמשים במסלול
בוחרים מסלול: "מתחילים עם AI" או "הנדסת מחשבים". כל שלב הוא משימה קטנה, ולידה "סיימתי". השלבים שסיימתם נשמרים בטלפון, כך שאפשר להמשיך מחר. בחלק מהשלבים יש פקודה להעתקה או שאלה עם תשובה, ובאחרים קישור לכלי שמתרגל בדיוק את מה שלומדים.
למי זה מתאים
לסטודנטים בקורסים של מבנה מחשבים ותכנות מקבילי, למפתחים שרוצים להתחיל עם AI על כרטיס בבית, ולמי שקנה כרטיס NVIDIA ולא יודע מאיפה להתחיל. אין צורך בידע קודם ב-CUDA, ובמסלול של AI גם לא בתכנות מתקדם.
מה לומדים בכל מסלול
במסלול של AI: להכיר את הכרטיס, להתקין PyTorch, להריץ מודל שפה, להבין מהירות וזיכרון, ולאמן עם LoRA. במסלול של הנדסת מחשבים: grid, block ו-thread, היררכיית הזיכרון, occupancy, ומדידה עם ncu ו-nsys.
כמה זה עולה?
כלום. האתר נבנה כחסד, בלי פרסומות ובלי איסוף פרטים, ואין צורך להירשם. אם הכלי עזר לכם, שלחו אותו לחבר. ואם חסר לכם משהו, כתבו לנו איזה כלי לבנות.
כמה זמן זה לוקח
בערך שעתיים-שלוש בשבוע, לאורך כמה חודשים.
שאלות ותשובות
מאיפה מתחילים ללמוד CUDA?
מהבנת מודל התכנות: grid, block ו-thread, ואז היררכיית הזיכרון. במסלול לסטודנטים זה מסודר לפי הסדר.
צריך כרטיס NVIDIA כדי להתחיל?
למסלול המעשי כן. אפשר להתחיל מהשלבים שמסבירים, ולהריץ אחר כך.
המסלול מתאים למי שלא מתכנת?
המסלול הראשון מתאים למתחילים שרוצים להריץ מודל. המסלול השני דורש רקע בתכנות.
זה בעברית?
כן, כל ההסברים בעברית. המונחים הטכניים נשארים באנגלית, כמו בעבודה.
צריך כרטיס NVIDIA כדי ללמוד CUDA?
כדי להריץ קוד CUDA כן. את המושגים אפשר ללמוד גם בלי כרטיס, ולהריץ קוד בענן, למשל ב-Google Colab.
עוד כלים בחינם שאולי יעזרו
לכל הכלים של ״כלים למתכנתים בעברית: AI, NVIDIA, סטודנטים וראיונות״ ←
