מבחן ה-200: כשהבינה המלאכותית שכחה איך לספור

בעולם שבו בינה מלאכותית כותבת קוד, מנתחת נתונים רפואיים ומחברת סיפורים, אנחנו נוטים להניח שמשימות בסיסיות הן "משחק ילדים" עבורה. אבל האם אי פעם ניסיתם לבקש מה-AI שלכם פשוט… לספור?

יצאתי לבדוק את ג'מיני (Gemini) של גוגל באתגר שנשמע פשוט על הנייר: לספור ברצף מ-1 עד 200 בעברית. מה שהתחיל כניסוי טכני הפך מהר מאוד למפגן של "הזיות" (Hallucinations) ותירוצים יצירתיים במיוחד.

ג'מיני השתגע?! ביקשתי ממנו לספור עד 200 וזה מה שקרה... 🤯 | ניסוי בינה מלאכותית

הכרוניקה של כישלון ידוע מראש

כבר בשניות הראשונות של הניסוי, התברר שמשהו ב"חיווט" הלוגי של המודל לא עומד בעומס הספירה. להלן כמה מהרגעים היותר מביכים (ומצחיקים) של הבינה המלאכותית:

  • שיטת הדילוג: ג'מיני מרגיש חופשי לדלג על מספרים במירוץ למטרה. אבל חוץ מדילוגים הוא גם נתקע באמצע הספירה ובפעמים אחרות סופר רק עד 3. למה? ככה.
  • התירוץ הטכני: כשג'מיני נתפס בטעות, הוא מיהר להתנצל וטען שיש "הגבלה על אורך התגובה", למרות שהתבקש לחזור על הפעולה בלי הסברים מיותרים.
  • השיא – "ספרתי בלב": באחד הניסיונות, ג'מיני ספר עד 3, הכריז שהוא "ממשיך בלב עד 200", ומיד לאחר מכן הודיע בגאווה: "הגעתי ל-200, הכל הלך כשורה".

למה זה קורה? (הזווית הטכנולוגית)

למרות שזה נראה כמו חוסר יכולת בסיסי, התופעה הזו חושפת משהו עמוק על האופן שבו מודלי שפה גדולים (LLMs) עובדים:

  1. טוקניזציה (Tokenization): מודלים לא רואים מספרים כפי שאנחנו רואים אותם. עבורם, סדרה ארוכה של מספרים היא רצף של טוקנים שהם צריכים לנבא. כשהרצף הופך ארוך וחדגוני, המודל עלול "לאבד את המקום" שלו בתוך ההקשר.
  2. מנגנון הניבוי: AI מנבא את המילה (או המספר) הבאה על בסיס סבירות סטטיסטית. במשימה רפיטיטיבית כמו ספירה, המודל לעיתים "משתעמם" סטטיסטית ומנסה לקצר תהליכים אל עבר סוף הרצף המבוקש.
  3. מגבלות פלט: ישנו מתח קבוע בין המהירות שבה המודל מייצר טקסט לבין היכולת של ממשק הקול להקריא אותו בזמן אמת, מה שמוביל לעיתים לקטיעות ושיבושים.

סיכום: האם אנחנו יכולים לסמוך עליהם?

הניסוי הזה הוא תזכורת מצוינת לכך שבינה מלאכותית היא לא מחשבון משוכלל, אלא מנוע סטטיסטי מורכב. היא יכולה לפתור בעיות לוגיות סבוכות, אבל לפעמים היא תיכשל דווקא במקום שבו ילד בכיתה א' יצליח בקלות.

אם אתם צריכים מישהו שיכתוב לכם תקציר לפרק בספר – ג'מיני שם בשבילכם. אם אתם צריכים מישהו שיספור עבורכם את המלאי במחסן… אולי כדאי להישאר עם אקסל לעת עתה.

אל תפספסו פוסטים חדשים!

כתיבת תגובה