מדריך מקצועי כך תריצו מודל AI על המחשב שלכם - בקלי קלות!

[תיקון קוראים]

כך תריצו מודל שפה על המחשב שלכם - שלב אחרי שלב​

לפני מספר חודשים, הודלף לרשת מודל השפה הראשון במשקל פתוח - מודל Llama של מטא.

מאז עברו הרבה מים בירדן, והתחום עבר שדרוגים עצומים. מטא עצמה הספיק לשחרר את המודל Llama 2 וממש לאחרונה גם את המודל Llama 3 שמציג ביצועים ששווים ל-gpt 3.5 במודל קטן בהרבה.
מלבד מטא, חברות וגופים רבים שחרור מודלים שונים ומשונים, כמו gemma של גוגל, mixtral של mistral, ועוד ועוד.

השבוע מיקרוסופט הטילה פצצה בשחרורו של מודל חדש בשם Phi-3. מדובר במודל קטן במיוחד - בגודל של 3.8 מליארד פרמטרים בלבד (לשם השוואה ב-gpt 3.5 יש מאות מליארדי פרמטרים!), אך הוא מציג יכולות דומות ל-gpt 3.5!

יש לציין שמודל זה ודומיו עובדים ללא אינטרנט באופן מלא, והוא גם לא דורש אינטרנט בעת ההתקנה. למעשה, הוא לא דורש התקנה כלל... הוא נהדר גם למשימות כתיבת קוד, אך הוא מבין ומתבטא באנגלית בלבד.

בקטע זה יצורף מדריך שלב אחרי שלב להפעלת המודל על גבי המחשב שלכם.

---

הורדת הקבצים​

המשימה ממש פשוטה - כל מה שאתם צריכים זה 3 קבצים בלבד, השוקלים בסך הכל כ-2 ג'יגה בלבד:

* יש להוריד את הקובץ שבקישור הזה (כ-2 ג'יגה), זה הקובץ שמכיל את המודל עצמו:

* לאחר מכן יש להוריד את הגרסה האחרונה של llamafile:
יש לבחור בקובץ הראשון ברשימה - בפורמט כזה llamafile-0.7.3.

* לאחר מכן יש להוריד את קובצי ההפעלה המצורפים למטה:
יש להשתמש בקובץ הראשון. אם יש לכם מחשב עם מעבד גרפי חזק - מומלץ להשתמש בקובץ השני.

לנוחות השימוש גם בעתיד מומלץ להכניס את שלושת הקבצים לתיקיה חדשה!

הרצת המודל בפועל​

* הפעל את קובץ הבאט המצורף - המודל יפתח בדפדפן בתצוגה גרפית.
אמנם לא מוצלחת במיוחד. אבל זה עובד מהר וללא צורך בחיבור לרשת כלל!

כל שעליך לעשות זה להקליד תוכן כרצונך בחלונית שבתחתית החלון ולהקיש אנטר!

מכיון שהמודל רץ מהדפדפן, ניתן לתרגם את התוכן בקלות (עם רשת כמובן...)

---

לרשימת התפתחויות מרכזיות בתחום הבינה המלאכותית

AI Timeline

A comprehensive timeline of Artificial Intelligence milestones from 2022 to present.

nhlocal.github.io

 

[תיקון קוראים]

בעז"ה בקרוב אעלה לכאן מדריך להרצת מודל שפה חדש ומתקדם בעברית מלאה ובאיכות מדהימה!
יש למה לצפות

 

[אהרן כהן]

שימו לב!!!
התשובות במודל זה לא מסוננות בכלל, כך שמי שכרגיל סומך על הסינון שלא לקבל דברים מלוכלכים מהאינטרנט, כאן תקבלו את כל הלכלוך ישיר למחשב שלכם.

ספוילר

[עד כמה שידוע לי, אשמח מאד לקבל מידע אחר]

 

[תיקון קוראים]

המודל הספציפי הזה מכיל מנגנוני הגנה מובנים מפני שימוש לרעה. אם תנסה לבקש ממנו ליצור תכנים בעייתים - הוא יסרב

 

[אהרן כהן]

המודל הספציפי הזה מכיל מנגנוני הגנה מובנים מפני שימוש לרעה. אם תנסה לבקש ממנו ליצור תכנים בעייתים - הוא יסרב

שמח לשמוע. האם הוא מסנן מילים ונושאים מכוערים לפי ההשקפה החרדית או קרוב לזה, או רק מה שאצלם נחשב מלוכלך [עד כמה שקיים דבר כזה, שכמובן במרחק שנות אור מההשקפה החרדית]?

 

[תיקון קוראים]

שמח לשמוע. האם הוא מסנן מילים ונושאים מכוערים לפי ההשקפה החרדית או קרוב לזה, או רק מה שאצלם נחשב מלוכלך [עד כמה שקיים דבר כזה, שכמובן במרחק שנות אור מההשקפה החרדית]?

למיטב ידיעתי - גם הרובוט של נטפרי ממש לא מסנן תכנים ש"לא מתאימים להשקפה החרדית"
ביחוד בשפה האנגלית - בה הסינון מינימלי ממש

 

[אהרן כהן]

למיטב ידיעתי - גם הרובוט של נטפרי ממש לא מסנן תכנים ש"לא מתאימים להשקפה החרדית"

אני לא יודע אם בכל אתרי הAI, אבל ודאי שבחלק הוא מסנן, ואפילו יותר מידי, פניתי אליהם פעם על משהו שנחסם בלי קשר [אאל"ט, בקשתי שאלות על הפרשה ונחסם לי כמה פעמים, אח"כ בדקתי את זה ובקשתי שאלה שאלה כל פעם ועבד לי] והם אמרו שאין מה לעשות, בגלל הבעייתיות של הבינה המלאכותית הסינון יותר חזק מהרגיל [זה היה לפני כמה חודשים, לא בדקתי אם השתנה].

 

[א נודניק]

בעז"ה בקרוב אעלה לכאן מדריך להרצת מודל שפה חדש ומתקדם בעברית מלאה ובאיכות מדהימה!
יש למה לצפות

יש חדש עם זה?
נשמח מאוד אם תוכל לגלות לנו באיזה מודל מדובר

 

[העשיל פרידמאן]

UP

 

[טאטע זיסער!!!]

בעז"ה בקרוב אעלה לכאן מדריך להרצת מודל שפה חדש ומתקדם בעברית מלאה ובאיכות מדהימה!
יש למה לצפות

UP

 

[תיקון קוראים]

עבור מודל בעברית ניתן להשתמש בקובץ הזה:

aya-expanse-8b-Q4_K_M.gguf · bartowski/aya-expanse-8b-GGUF at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

כמו כן, יש להוריד את גרסת ההרצה המעודכנת הזו:

https://github.com/Mozilla-Ocho/llamafile/releases/download/0.9.0/llamafile-0.9.0

להרצת המודל בפועל ניתן להשתמש בקבצים שבקובץ הזיפ שצורף לפוסט הראשי שלי

חשוב להקפיד שכל הקבצים יאוחסנו באותה תיקיה - בהצלחה!

 

[תיקון קוראים]

@העשיל פרידמאן @א נודניק מעדכן אתכם במיוחד

 

[המעצ'ב גרפי]

@תיקון קוראים תנו לי הסבר קטן
הורדתי 4 קבצים
Start Language model
Start Language model on gpu
aya-expanse-8b-Q4_K_M.gguf
llamafile-0.9.0
כל אלו נמצאים תחת תיקייה אחת
מה עלי לעשות עכשיו?

 

[תיקון קוראים]

להפעיל את Start Language model או את Start Language model on gpu אם יש לך מחשב חזק אם מעבד גרפי (הגיוני, לפי המקצוע שלך...)

 

[למדן וידען]

איך אפשר ללמד אותו לחשוב לפי תבנית מסויימת או להעשיר אותו או להגביל אותו לתחום מסויים?

 

[יוצר AI מקצועי]

להפעיל את Start Language model

הפעלתי וזה מה שהוא מראה לי:

מה הלאה?
תודה רבה!

 

[טאטע זיסער!!!]

דבר ראשון תודה רבה.
דבר שני, הוא כותב בעברית משמאל לימין ( ןימיל לאמשמ ) יש פתרון?!

 

[טאטע זיסער!!!]

הפעלתי וזה מה שהוא מראה לי:צפה בקובץ המצורף 1867277

מה הלאה?
תודה רבה!

כאן אתה כותב את מה שאתה צריך ולוחץ אנטר.

 

[יוצר AI מקצועי]

כאן אתה כותב את מה שאתה צריך ולוחץ אנטר.

אני לא רואה שום מקום לכתוב, ואם אני כותב סתם כך שם זה לא כותב לי.
אני לא רואה את החלונית הזאת

תודה רבה!

 

[תיקון קוראים]

אמור להפתח חלון בדפדפן. אם זה לא קורה, אתה צריך להכנס לקישור http://127.0.0.1:8080 בדפדפן, בזמן שהחלון השחור פתוח

שם יהיה לך ממשק קצת יותר נח עם תצוגה תקינה בעברית @טאטע זיסער!!! זה אמור לעזור גם לבעיה שלך