הנושאים החמים
בין אם אתם יוצרים קומיקס, סרטון אנימציה, או מותג לילדים – אחד האתגרים הגדולים ביותר בעבודה עם מחוללי תמונות מבוססי בינה מלאכותית הוא יצירת דמות אחת, קבועה, מזוהה, מכל זווית אפשרית.
רגע, אבל מידג'רני עושה את זה... לא?
נכון, Midjourney מסוגל לעיתים ליצור וריאציות של דמות שנראית דומה – במיוחד אם מתארים אותה היטב בפרומפט, שומרים על עקביות ומבקשים "same character" או "character sheet". אבל… אין באמת זיהוי עומק של דמות שם. אין זיכרון. מידג'רני מבוסס על טכניקת פרומפטים חכמה, לא על מודלים נלמדים. ולכן, אחרי 3-4 תמונות – הדמות תתחיל "להתפרק". שיער אחר, כובע נעלם, מבנה גוף משתנה...פה נכנס Stable Diffusion – והקסם של LoRA
Stable Diffusion הוא מודל בינה פתוח (Open Source), שמאפשר לנו לא רק "לבקש" תמונה – אלא ממש לאמן את המודל על דמות מסוימת, ולגרום לו "ללמוד" אותה. ופה נכנסת השיטה החזקה ביותר ליצירת דמויות עקביות: אימון LoRA.מה זה בעצם LoRA?
LoRA זה קיצור של Low-Rank Adaptation, וזה רעיון גאוני: במקום לאמן מחדש את כל המודל הענק (שוקל ג'יגה-בייטים!), אנחנו מאמנים "מודלון" קטן, שלומד רק את השינויים שאנחנו רוצים להכניס – במקרה שלנו, דמות מסוימת.המודלון הזה "מתלבש" על המודל הגדול, כמו עדשה או שכבה, ומרגע האימון – אנחנו יכולים להשתמש בפרומפט קצר (לדוגמא: שימי יושב ואוכל) כדי לקבל את הדמות שלנו. מכל זווית, בתנוחות שונות, במצבים משתנים.
שלב ראשון: להכין את התמונות
בשביל לאמן דמות, אנחנו צריכים 10–15 תמונות של אותה דמות מזוויות שונות – פנים, פרופיל, מאחורה, שלושה רבעים, יושבת, עומדת, הולכת וכו'.אפשר לעשות את זה בכמה דרכים:
- לצייר ביד / ליצור בפרו־קריאייט
- לצלם בובה / דמות תלת־ממד
- או הכי פשוט: לבקש ממידג'רני או מסטייבל דיפיוז'ן ליצור דמות אחת בכמה זוויות
אחרי שקיבלנו גיליון דמות (character sheet), נחתוך כל תנוחה לתמונה נפרדת.
שלב שני: סגנון או דמות – מה אנחנו מאמנים?
יש שני סוגים של אימונים:- אימון סגנון – למשל: נלמד את המודל לצייר כמו בת שבע אינגבר (שימו לב! זכויות יוצרים), או כמו קומיקס יפני משנות ה־80.
- אימון דמות – למשל: נלמד את המודל לזהות את הדמות של שימי.
שלב שלישי: מילות הקסם – לתאר את הדמות במדויק
כל תמונה צריכה תיאור ברור של מה רואים בה (prompt) – אבל גם חשוב לתאר את מה שחשוב, ולהתעלם ממה שמשתנה.דוגמה: נניח שלדמות שלנו יש לפעמים כובע, ולפעמים לא. אם נכתוב בכל הפרומפטים "man with a hat" – המודל יחשוב שהכובע הוא חלק מהותי מהדמות. ואז – אי אפשר יהיה לבקש אותה בלי כובע.
לכן – אם משהו משתנה (כמו משקפיים, תיק, כובע, רקע) – לא נזכיר אותו בפרומפט. רק מה שחשוב שיהיה תמיד.
שלב רביעי: אימון בפועל
באמצעות ממשק ליאונרדו AI (או ממשק אחר) נכניס- את התמונות (חתוכות עם השם הנכון).
- את הפרומפטים שמתארים מה קורה בכל תמונה.
- את שם הדמות שנרצה למשל: שימי.
- נלחץ Train.
שלב חמישי: תנוחות שונות עם אותה דמות – בעזרת ControlNet
עכשיו שיש לנו דמות מאומנת, נוכל לשלב אותה עם ControlNet כדי לשלוט בתנוחה:- נשתמש בתמונה של שלד/פוזה/סקיצה
- נבקש מהמודל ליצור את הדמות שלנו בתוך הפוזה
אפשר להשתמש בזה כדי לבנות קומיקס שלם, אנימציה, או ספר ילדים – עם דמות אחת עקבית שמופיעה שוב ושוב.
לסיכום
אימון LoRA הוא הדרך הכי מדויקת, קלה ומשתלמת ליצור דמות עקבית בעולם ה־AI.אם אתם יוצרים תוכן ויזואלי עם דמויות קבועות – זה הכלי שחיכיתם לו.
| במגזין "משפחה", "בומבך" | עיתון "ילדים", ויוצרת רבי המכר "שלושה אחים" "הרשלה האוסטרופולי" ועוד.
