ב
מיזם הכלים של גילעד רחמים

✓ בחינם✓ ללא הגבלה✓ בלי פרסומות

הרבה כלים כאלה ברשת מוגבלים ומלאים בפרסומות. כאן לא, וגם בלי הרשמה – מתוך רצון לעשות חסד.

כמה טוקנים לשנייה? מחשבון מהירות מודל שפה

כמה מהר מודל שפה יכתוב תשובה על הכרטיס שלכם, כמה זמן עד המילה הראשונה, ומה קורה כשהרבה אנשים שואלים בבת אחת.

כל השדות בטוקנים. טוקן הוא בערך ¾ מילה באנגלית, ובעברית בערך חצי מילה.

—טוקנים לשנייה
—עד המילה הראשונה
—לכל התשובה

אותו מודל על כרטיסים אחרים

החישוב: בכל טוקן הכרטיס קורא את כל המשקלות ואת ה-KV cache מהזיכרון, ולכן המהירות ≈ רוחב פס הזיכרון ÷ כמה צריך לקרוא (בהנחה שמנוצלים 70% מרוחב הפס). זו הערכה: בפועל זה תלוי בתוכנה (llama.cpp, vLLM, TensorRT-LLM, Ollama), ותוכנות עם speculative decoding יכולות להיות מהירות יותר.

🎬 טוקנים לשנייה – ככה זה עובד

⬇️ להורדת הסרטון
📄 פרוספקט לשיתוף – תמונה אחת שמסבירה הכולפרוספקט: טוקנים לשנייה – ככה זה עובד
⬇️ להורדה (פוסט)

💛 באהבה ממיזם הכלים של גילעד רחמים · מיזם חינמי להנגשה. לא הכול זה כסף: רעיון, תוכן או עזרה בהפצה, או שותפות במיזם.

כמה מהר מודל שפה יענה על הכרטיס שלכם

בוחרים מודל, דיוק, כרטיס NVIDIA וכמה כרטיסים. מוסיפים אורך שאלה, אורך תשובה וכמה משתמשים במקביל. המחשבון מראה כמה טוקנים לשנייה המודל יכתוב, כמה זמן עד המילה הראשונה, וכמה לכל התשובה.

למה רוחב הפס קובע

בכל טוקן הכרטיס קורא את כל המשקלות ואת ה-KV cache מהזיכרון. לכן מהירות הכתיבה תלויה בעיקר ברוחב פס הזיכרון, וקריאת השאלה תלויה בכוח החישוב. בתחתית יש השוואה של אותו מודל על כל הכרטיסים.

זו הערכה: בפועל זה תלוי בתוכנה (llama.cpp, vLLM, Ollama ועוד). טוקן הוא בערך ¾ מילה באנגלית, ובעברית בערך חצי מילה. עוד: מחשבון VRAM והשוואת כרטיסים.

שני השלבים של כל תשובה

קודם המודל קורא את כל השאלה וההקשר. זה תלוי בעיקר בכוח החישוב, וקובע כמה זמן עד המילה הראשונה. אחר כך הוא כותב טוקן אחרי טוקן, וזה תלוי בעיקר ברוחב הפס של הזיכרון.

כמה אנשים שואלים בבת אחת

כשכמה אנשים שואלים בבת אחת, הכרטיס קורא את המשקלות פעם אחת ומשרת את כולם, ולכן הסך הכול גדל. אבל כל משתמש מקבל קצת פחות מהר, וכל אחד צריך זיכרון להקשר שלו.

מה מקבלים

מספר טוקנים לשנייה, הזמן עד המילה הראשונה, והזמן לכל התשובה. בתחתית יש השוואה של אותו מודל על כל הכרטיסים, כך שרואים מיד כמה מהר זה יהיה על כרטיס אחר, לפני שקונים או שוכרים.

למה זה בחינם

הכלים של גילעד רחמים נבנים כחסד: בלי תשלום, בלי פרסומות ובלי הרשמה, כדי שכל אחד יוכל להשתמש בהם. מי שרוצה לעזור, שולח את הדף לחבר שזה יכול לעזור לו. חסר לכם כלי? אפשר לבקש כלי חדש.

מספר אצבע

מעל 20 טוקנים לשנייה מרגיש כמו קריאה רגילה.

שאלות ותשובות

כמה טוקנים לשנייה זה מספיק?

אדם קורא בערך 5 מילים בשנייה. המחשבון אומר אם הקצב מהיר מקצב קריאה או מרגיש איטי.

למה יותר משתמשים מאטים כל אחד?

כל משתמש מוסיף KV cache שצריך לקרוא בכל צעד. סך הכול הכרטיס מוציא יותר טוקנים, אבל כל משתמש מקבל פחות.

מודל ב-4 ביט מהיר יותר?

בדרך כלל כן, כי צריך לקרוא פחות זיכרון בכל טוקן.

זה מתאים גם למודלי MoE?

כן. נספרים רק הפרמטרים הפעילים לכל טוקן.

למה דיוק 4 ביט מהיר יותר?

כי המודל קטן יותר בזיכרון, והכרטיס קורא פחות נתונים בכל טוקן. מהירות הכתיבה תלויה בעיקר בכמות הנתונים שקוראים.

הדף הזה בחינם?

כן. הכול כאן בחינם, בלי הרשמה ובלי פרסומות.

זה עובד גם בטלפון?

כן. הדף נפתח בדפדפן של הטלפון ושל המחשב, ולא צריך להתקין שום דבר.

עוד כלים בחינם שאולי יעזרו

לכל הכלים של ״כלים למתכנתים בעברית: AI, NVIDIA, סטודנטים וראיונות״ ←

הכלי עזר לך?

💡 יש לך רעיון איך לשפר? אשמח מאוד

או לכתוב לי בווטסאפ. אפשר לשלוח גם בלי שם ובלי פרטים. אם השארת פרטים, הם נשמרים אצלי בלבד, רק כדי לחזור אליך. פרטיות

אני קורא כל הצעה, בשמחה ובתודה. מה שייבנה בעקבות הצעה שלך יופיע כאן, ברשימה "שופר בזכותכם". מה כבר שיפרנו בכלים אחרים ←