✓ בחינם✓ ללא הגבלה✓ בלי פרסומות
הרבה כלים כאלה ברשת מוגבלים ומלאים בפרסומות. כאן לא, וגם בלי הרשמה – מתוך רצון לעשות חסד.
מחשבון VRAM: כמה זיכרון צריך למודל AI
כמה זיכרון כרטיס מסך צריך כדי להריץ או לאמן מודל שפה, ואיזה כרטיס NVIDIA מספיק. בוחרים, והתשובה מתעדכנת מיד.
זו הערכה ולא מדידה. בפועל זה משתנה לפי הספרייה (vLLM, llama.cpp, Transformers), לפי Flash Attention ולפי הגדרות האימון. כדאי להשאיר 10%–20% מרווח. באימון מלא החישוב מניח mixed precision עם Adam.
🎬 מחשבון VRAM – ככה זה עובד
💛 באהבה ממיזם הכלים של גילעד רחמים · מיזם חינמי להנגשה. לא הכול זה כסף: רעיון, תוכן או עזרה בהפצה, או שותפות במיזם.
כמה VRAM צריך כדי להריץ מודל שפה?
בוחרים מודל (Llama, Qwen, Mistral ועוד) או מקלידים גודל, בוחרים דיוק של FP16, 8 ביט או 4 ביט, אורך הקשר וכמה בקשות במקביל. המחשבון מראה כמה GB של זיכרון כרטיס מסך צריך, ואיזה כרטיס NVIDIA מספיק.
הרצה, LoRA או אימון מלא
בהרצה נספרים המשקלות וה-KV cache. באימון נוספים גרדיאנטים ומצב האופטימייזר. אימון מלא מחושב לפי mixed precision עם Adam.
זו הערכה ולא מדידה, וכדאי להשאיר 10% עד 20% מרווח. אחרי שיודעים כמה זיכרון צריך: השוואת כרטיסי NVIDIA, כמה טוקנים לשנייה והגדרות מוכנות להרצה.
חשבון מהיר בראש
בכל מיליארד פרמטרים: כ-2 GB ב-FP16, כ-1 GB ב-8 ביט וכ-0.5 GB ב-4 ביט. מודל של 7 מיליארד ב-4 ביט צריך בערך 4 GB למשקלות, ועוד זיכרון להקשר. המחשבון מוסיף את ה-KV cache לפי אורך ההקשר ומספר הבקשות.
למה ההקשר תופס זיכרון
בכל טוקן בשיחה המודל שומר מפתחות וערכים לכל שכבה. בהקשר ארוך, או כשכמה אנשים שואלים בבת אחת, ה-KV cache יכול לתפוס יותר מהמשקלות עצמם. דיוק FP8 ל-KV cache חוסך חצי.
הרצה או אימון
בהרצה צריך מקום למשקלות ולהקשר. באימון LoRA מוסיפים מעט, ובאימון מלא צריך הרבה יותר: גרדיאנטים ומצב האופטימייזר. המחשבון מראה גם איזה כרטיס NVIDIA מספיק לתוצאה. כדאי להשאיר מרווח של 10% עד 20%.
בחינם, ובלי הרשמה
אין כאן מנוי, אין גרסת פרימיום ואין פרסומות. הכלי בנוי כחסד, לכל מי שצריך אותו, ורץ בדפדפן שלכם. הדרך הכי טובה לעזור היא לשלוח את הקישור למי שזה יכול לחסוך לו זמן, או לספר לנו מה עוד חסר.
שאלות ותשובות
כמה VRAM צריך למודל 7B?
ב-FP16 בערך 14 GB למשקלות בלבד, ועוד זיכרון להקשר. ב-4 ביט בערך רבע מזה. המחשבון נותן את המספר לפי מה שבחרתם.
מה זה KV cache?
הזיכרון שהמודל שומר על ההקשר בזמן כתיבה. הוא גדל עם אורך ההקשר ועם מספר הבקשות במקביל.
כמה זיכרון צריך לאימון LoRA?
הרבה פחות מאימון מלא, כי מאמנים רק חלק קטן מהמשקלות. בוחרים "אימון LoRA" ורואים את החישוב.
המספר מדויק?
זו הערכה. בפועל זה משתנה לפי הספרייה (vLLM, llama.cpp, Transformers) וההגדרות.
כמה VRAM צריך למודל של 7 מיליארד פרמטרים?
בערך 14 GB ב-FP16 וכ-4 GB ב-4 ביט, ועוד מקום להקשר. המחשבון נותן את המספר המדויק לפי ההגדרות שבחרתם.
הדף הזה בחינם?
כן. הכול כאן בחינם, בלי הרשמה ובלי פרסומות.
עוד כלים בחינם שאולי יעזרו
לכל הכלים של ״כלים למתכנתים בעברית: AI, NVIDIA, סטודנטים וראיונות״ ←
