✓ בחינם✓ ללא הגבלה✓ בלי פרסומות
הרבה כלים כאלה ברשת מוגבלים ומלאים בפרסומות. כאן לא, וגם בלי הרשמה – מתוך רצון לעשות חסד.
להריץ מודל AI אצלכם: הגדרות ל-Ollama, vLLM ו-llama.cpp
בוחרים מודל וכרטיס, והכלי מחליט מה נכנס לזיכרון – ונותן הגדרות מוכנות להעתקה ל-Ollama, ל-vLLM או ל-llama.cpp.
מה בחרתי ולמה
Ollama – הכי פשוט להתחלה. vLLM – הכי מהיר לשרת עם הרבה משתמשים (Linux). llama.cpp – קל, עובד גם כשחלק מהמודל על המעבד.
החישוב לפי משקלות + KV cache ב-FP16 לכל משתמש + 1 GB תקורה, עם 10% מרווח. שמות התגים והמודלים משתנים מדי פעם – אם פקודה לא עובדת, בדקו את השם בדף המודל, או הדביקו את השגיאה במסביר השגיאות.
🎬 הגדרות להרצת מודל – ככה זה עובד
💛 באהבה ממיזם הכלים של גילעד רחמים · מיזם חינמי להנגשה. לא הכול זה כסף: רעיון, תוכן או עזרה בהפצה, או שותפות במיזם.
להריץ מודל AI במחשב שלכם: הגדרות מוכנות
בוחרים מודל, כרטיס NVIDIA, כמה כרטיסים, ומי ישתמש: רק אתם, כמה אנשים, או שרת לצוות. הכלי מחליט איזה דיוק ואיזה אורך הקשר נכנסים לזיכרון, ומסביר כל החלטה.
Ollama, vLLM או llama.cpp
מקבלים הגדרות מוכנות להעתקה לשלושתם. Ollama הכי פשוט להתחלה. vLLM הכי מהיר לשרת עם הרבה משתמשים, ב-Linux. llama.cpp קל, ועובד גם כשחלק מהמודל יושב על המעבד.
החישוב: משקלות, KV cache ב-FP16 לכל משתמש, ו-1 GB תקורה עם 10% מרווח. שמות המודלים משתנים מדי פעם. עוד: מחשבון VRAM ומחולל פקודות GPU.
דיוק ואורך הקשר
דיוק נמוך יותר, 8 או 4 ביט, מקטין את המודל בזיכרון במחיר של ירידה קטנה באיכות. אורך ההקשר קובע כמה טקסט המודל זוכר בשיחה, וכל משתמש נוסף צריך KV cache משלו. לכן שרת לצוות צריך הרבה יותר זיכרון מהרצה לבד.
מה לבחור
מתחילים? Ollama: התקנה אחת ופקודה אחת. צריכים שרת מהיר לכמה משתמשים ב-Linux? vLLM. כרטיס קטן שלא מספיק לכל המודל? llama.cpp, שיודע להעביר חלק מהמודל למעבד.
מה מקבלים
פקודות והגדרות מוכנות להעתקה לכל אחת משלוש התוכנות, והסבר קצר למה נבחר הדיוק ולמה נבחר אורך ההקשר. הכלי בוחר לבד דיוק ואורך הקשר שנכנסים לזיכרון של הכרטיס שבחרתם, ומסביר כל החלטה במילים פשוטות, כדי שתבינו גם מה לשנות בעצמכם.
כמה זה עולה?
כלום. האתר נבנה כחסד, בלי פרסומות ובלי איסוף פרטים, ואין צורך להירשם. אם הכלי עזר לכם, שלחו אותו לחבר. ואם חסר לכם משהו, כתבו לנו איזה כלי לבנות.
לפני שמתקינים
בודקים כמה זיכרון יש בכרטיס: מחשבון VRAM.
שאלות ותשובות
איך מריצים מודל שפה במחשב בבית?
הדרך הפשוטה היא Ollama. בוחרים מודל וכרטיס בכלי, ומקבלים Modelfile ופקודות מוכנות.
מה ההבדל בין Ollama ל-vLLM?
Ollama פשוט ונוח למשתמש אחד. vLLM בנוי לשרת הרבה בקשות במקביל ומהיר יותר בעומס, אבל דורש Linux.
המודל לא נכנס לכרטיס. מה עושים?
הכלי מוריד לבד את הדיוק או את אורך ההקשר. אם עדיין לא נכנס, llama.cpp יכול להעביר חלק מהמודל למעבד, לאט יותר.
זה עולה כסף?
לא. הכלי בחינם, וגם Ollama, vLLM ו-llama.cpp הם תוכנות חינמיות.
איזו תוכנה הכי פשוטה להריץ מודל בבית?
Ollama. מתקינים, מריצים פקודה אחת, והמודל עובד. הכלי נותן את ההגדרות שמתאימות לכרטיס שלכם.
זה עובד גם בטלפון?
כן. הדף נפתח בדפדפן של הטלפון ושל המחשב, ולא צריך להתקין שום דבר.
עוד כלים בחינם שאולי יעזרו
לכל הכלים של ״כלים למתכנתים בעברית: AI, NVIDIA, סטודנטים וראיונות״ ←
