אחרי שראינו בסרטון הקודם איך ג'מיני התמודד עם אתגר הספירה עד 200, הגיע הזמן לבדוק את המתחרים. בינה מלאכותית אמורה לפתור בעיות מורכבות, לכתוב קוד ולנתח נתונים, אבל האם היא מסוגלת לבצע משימה של גן חובה? יצאתי לבדוק את היכולת של המודלים הפופולריים ביותר בשוק – Copilot של מיקרוסופט ו-ChatGPT של OpenAI – פשוט לספור מאחד עד מאתיים.
המפגש המבלבל עם קופיילוט
הניסוי התחיל עם Copilot, שהפתיע כבר מהרגע הראשון כשפנה אליי בשם לא קשור (מיי?). כשהצלחתי סוף סוף לגרום לו להתחיל במשימה, התגלה שהוא "עצלן" במיוחד. במקום לספור את כל המספרים, הוא ניסה לעשות קיצורי דרך מוזרים וקפץ מספרות בודדות ישר לסוף הספירה (מ-10 ל-198!). כשניסיתי להתעקש על ספירה מלאה ללא דילוגים, המודל פשוט הפסיק להגיב וקרס תחת ה"עומס" של ספירה עד 200.
צ'אט GPT: רצון טוב אבל אפס לוגיקה
עברתי לבדוק את ChatGPT. הוא אמנם הראה הרבה יותר "רצון טוב" והסכים להמשיך לספור גם כשזה נהיה ארוך, אבל המציאות הייתה הזויה לא פחות. סביב המספר 120 המודל התחיל לאבד את זה לגמרי. הוא התחיל לחזור על מספרים בלופים, המציא סדרות מספרים שלא קיימות (כמו "1413") והמשיך לדבר לעצמו ברצף חסר פשר. זה נראה פחות כמו בינה מלאכותית ויותר כמו התמוטטות עצבים דיגיטלית.
למה זה קורה?
הניסוי הזה מוכיח שלמרות ההתקדמות העצומה, מודלי שפה גדולים (LLMs) עדיין מתקשים בפעולות לוגיות פשוטות וליניאריות. הם לא באמת "סופרים" במובן האנושי של המילה, אלא מנבאים את המילה או המספר הבאים על בסיס סטטיסטיקה. כשמדובר ברצפים ארוכים ומונוטוניים, מנגנון הניבוי הזה פשוט נשבר, והתוצאה היא "הזיות" (Hallucinations) משעשעות אך מטרידות.
סיכום: מי ניצח באתגר?
אם צריך לבחור מנצח, ChatGPT לפחות ניסה ולא ויתר, למרות שהתוצאה הייתה רחוקה מלהיות מדויקת. קופיילוט, לעומת זאת, התגלה כחירטטן מקצועי שמעדיף להמציא תירוצים מאשר לבצע את העבודה. בהשוואה לג'מיני שגם הוא התקשה אך הגיע לתוצאות מעט טובות יותר , נראה שגם המתחרים לא מסוגלים לעמוד במשימה כל כך בסיסית. נכון להיום, אם אתם צריכים שמישהו יספור לכם עד 200, כנראה שעדיף לבקש מילד בכיתה א'.
דווקא לי Chat GPT ספר מספרים כמו שצריך מ1 ל200 ומ1 ל1000 ומ10 ל198 ועבד חלק
כתב מספר אחרי מספר
הבעיה היא לא הספיקה הכתובה אלא בספירה המילולית.