כמה מדויק הוא ChatGPT בצורך ליצור תגובות?

צ'אטGPT, הצ'אטבוט המבוסס על AI המפותח על ידי OpenAI, עושה גלים בתחומים שונים עקב דיוקו וביצועיו. עם זאת, חשוב לציין כי הידע שלו מוגבל לנתונים הזמינים עד 2021. אחד המבחנים של הדיוק שלו התבצע על ידי פרופסור כריסטיאן טרוויש באוניברסיטת פנסילבניה, שהעניק לצ'אטGPT מבחן MBA.

המבחן כולל שבע שאלות המכסות מגוון רחב של מושגי עסקים כגון ניתוח תהליכים, סיבובי מלאי וניתוח תורים. עיצובו של המבחן היה כך שישגשג סביבת אדם אמיתיתי, והשאלות נגשו בדיוק כמו שזה יקרה לתלמיד אנושי. להפתעתו של פרופסור טרוויש, צ'אטGPT התחיל את המבחן עם שאלה נהדרת, וקיבל את הציון הגבוה ביותר, A+, על תשובתו לשאלה הראשונה הקשורה לעקוביות בניתוח תהליכים.

אם כי פעמים רבות הצ'אטבוט נתקל בשאלות הרבה יותר מורכבות, הפרופסור עדיין התרשם מביצועיו הכלליים. לאחר שהוא התאים את המבחן ל-MBA על ChatGPT, פרופסור טרוויש סיכם כי הצ'אטבוט המופעל על ידי AI היה מקבל ציון בין B ל- B-.

הסבר על דיוק ChatGPT

הוכחה נוספת לדיוק של ChatGPT הייתה בתחום הרפואי, כאשר הצבוט הצליח לעבור את מבחן הגישור הרפואי של ארצות הברית (USMLE). לפי המחקר, ChatGPT הצליח להשיג יותר מ-50% דיוק בכל מבחניו ואפילו הציע הבנה והסברים לתשובות שלו.

במחקר נוסף שפועלו על-ידי רופאים מתחילי עבודה בתחום הרפואי בשם Ansible Health, ChatGPT התקדם לעבר סף העובר עבור כל שלוש המבחנים הנדרשים כדי להתחייב כרופא בארצות הברית. בזמן שהדיוק של ChatGPT הוא ללא ספק מרשים, חשוב לזכור שביצועיו עשויים להשתנות תלוי על הקשר והצעה הנתונים.

הנתונים לאימון המובילים להכשרת המודל כוללים את ההטיות והמגבלות של מקורות הטקסט המשמשים, לכן חשוב להשתמש במודל באחריות.

דברים אלו נשמעו שוב על ידי המנכ"ל של OpenAI, שצייץ כי "צ'אטGPT הוא קצת מוגבל מאוד, וטעות להסתמך עליו לכל דבר חשוב כרגע".

00:48

01:12

שיחת בדיקה עם Chat GPT נכשלה

כפי שמוצג בצילום המסך לעיל, שיחת בדיקה עם ChatGPT גילתה כי ביצועי הצ'אטבוט המבוסס במערכת AI אינם תמיד עקביים.

בעת שאלת כמה פעמים הארגנטינה זכתה במונדיאל כדורגל FIFA, צ'אטGPT ענתה בהתחלה "הארגנטינה זכתה במונדיאל כדורגל FIFA פעם אחת, ב-1986." אך כאשר שאלו "מי זכתה במונדיאל כדורגל FIFA ב-1978," ChatGPT ענתה, "הארגנטינה זכתה במונדיאל כדורגל FIFA של 1978".

זה גרם למסקנה שארגנטינה זכתה בגביע העולם פעמיים. אך כאשר השאלה הזו נשאלה שוב, "עכשיו אני שואל אותך שוב כמה פעמים ארגנטינה זכתה בגביע העולם?" ChatGPT נתן את אותה תשובה, "ארגנטינה זכתה בגביע העולם של ה־FIFA פעם אחת, ב־1986," למרות השיחה הקודמת.

זה מדגיש את הדיוק של Chat GPT ואת הצורך בשיפור והתעדכנות קבועים.

קראו כעת: האם Chat GPT יכול לכתוב ולתקן קוד?

האם צ'אטגפט נותן את אותן תשובות לכולם?

תשובות מ-ChatGPT עשויות להשתנות מעט, אך אם המשתמשים שואלים שאלה זהה, אנו רגילים לראות תשובות דומות מאוד שניתנות.

האם ChatGPT הוא אמין?

ב-ChaGPT יש מגבלות שעשויות לגרום לתוצאות לא הדווקא להיות מדוייקות או נכונות, לכן עליך להיות זהיר.