הנושאים החמים
הנושאים החמים
תיקון קוראים
משתמש צעיר
כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב
לפני מספר חודשים, הודלף לרשת מודל השפה הראשון במשקל פתוח - מודל Llama של מטא.מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.
השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה ב-gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!
יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.
בקטע זה יצורף מדריך שלב אחרי שלב להפעלת המודל על גבי המחשב שלכם.
הורדת הקבצים
המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:* יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:
* לאחר מכן יש להוריד את הגרסה האחרונה של llamafile:
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-0.7.3.
* לאחר מכן יש להוריד את קובצי ההפעלה המצורפים למטה:
יש להשתמש בקובץ הראשון. אם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ השני.
לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!
הרצת המודל בפועל
* הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!
כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!
מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)
לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית
nhlocal.github.io
AI Timeline
nhlocal.github.io
נערך לאחרונה ב:
