11 חסרונות של תוכן ChatGPT

סימני מחוון

• למה תוכן גרוע ב-ChatGPT עובר את הבדיקה האנושית.
• ChatGPT מפורט אף כשצריך להיות קצר.
• פרופסור מציע פגם שקולע את הבלוגים שנוצרו על ידי ChatGPT.
• וויהט-קמפף נכשל בזיהוי אנדרואידים מספריים והסיבה המפתיעה למה זה חשוב.

צ'אטגפט יוצר תוכן שהוא מקיף ומדוייק למדי.

אך חוקרים, אמנים ופרופסורים מזהירים על חסרונות שצריכים להיות מודעים להם ושמשפיעים על איכות התוכן.

במאמר זה, נבחן 11 חסרונות של תוכן ChatGPT. בואו נתפסק לעמוד.

1. שימוש בביטויים מגלה שהטקסט אינו אנושי

חוקרים המתעסקים בזיהוי תוכן שנוצר על ידי מכונות גילו דפוסים שהופכים את התוכן לקול טבעי.

אחת מהתכונות המיוחדות היא שהניסויים המבוצעים הוכיחו שהבינה המלאכותית מתקשה עם מבטאים.

מונח תיבולי הוא ביטוי או אמירה שאלמנטי המשמעות שלה לא מתבסס על משמעות מילולית ישירה, למשל, "בתוך כל רעידה יש אופק".

חוסר בביטויי משל בתוך תוכן עשוי להיות אות מכפיל שהתוכן נוצר על ידי מכונה - וזה עשוי להיות חלק מאלגוריתם זיהוי.

זה מה שכתוב במאמר המחקרי לשנת 2022 בנושא העמידות נגד התנגשות בין מאפיינים נוירו-סטטיסטיים לבין הזדהות של מפיקי טרנספורמטורים בנוגע לתכונה לא תקינה זו שבתוכן של מכונות:

"תכונות פרזעיות מורכבות מבוססות על תדירות המילים והביטויים המסוימים בתוך הטקסט המנותח הנמצאים בהפרש תדירויות גבוה מבין הטקסט האנושי."

...מבין המאפיינים הנפוצים הקשורים לביטויים, מאפייני המשפטים משמרים את היכולת לזהות באמצעות המודלים היוצרים לפי הנתונים הנוכחיים."

היעקוב הזה לא להשתמש בביטויים מיוחדים מביא לכך שפלט ChatGPT נשמע ונקרא באופן לא טבעי.

2. חסרון יכולת לבטא את עצמך ב- ChatGPT

אומן העריך את ממשק השיחה של ChatGPT כמזמן אמנות, אך הערים כי הממשק חסר את הכדוריות האמנותיות המקוריות.

הבעה היא הפעולה של לתקשר מחשבות או רגשות.

פלט ChatGPT אינו מכיל ביטויים, רק מילים.

זה לא יכול לייצר תוכן שמגע באנשים ברמה רגשית דומה לכזו שאדם יכול לעשות - מכיוון שאין לו מחשבות או רגשות אמיתיים.

האמן המוזיקלי ניק קייב, במאמר שפורסם בניוזלטר שלו Red Hand Files, ניתן לראות איך נשלח אליו מילות השיר של ChatGPT, שנוצרו בסגנון ניק קייב.

כלי חדשני לשיווק תוכן בעזרת AI
יש לך הזדמנות לצאת לפני המתחרים ולהשתמש בטכנולוגיות הבאות להכנת תוכן ממוקד ומאופטימלי שמספק תוצאות שלוש פעמים מהר יותר.

הוא כתב:

"מה שהופך שיר גדול לגדול אינו הדמיון הקרוב שלו ליצירה מוכרת.

זהו המתמודד המופנם עם הפרצוף של הפגיעות, הסכנה והקטנות נגד התחושה של גילוי מפתיע ורעידת אדמה; זהו הפעולה האמנותית המקומצת המעוררת את הלב של המאזין, כאשר המאזין מזהה בתוכן של השיר את הדם, המאבק והכאב האישי שלהם."

קיייב קרא למילות השיר של ChatGPT הזלזול.

זוהי המילים לשיר ChatGPT המזכירים את מילות השיר של ניק קייב:

"יש לי דם של מלאכים על כפות הידיים
יש לי אש של גיהנום בעיניים
אני המלך של התהום, אני מושל החושך
אני האחד שהם מפחדים ממנו, כשהם מצפים בצללים"

וזהו פזמון אמיתי של ניק קייב (אחיי, הכוס שלי ריקה):

"יש ליוצאות על גשם
זה מרפס מהכוכבים שלי
וכעת העני בבגדי לספרדי הוא
דואג להכיס לפניו
ראו, הכוס שלי ריקה!
נראה שאבדו החשקים שלי
נראה שאני מקלט מאפר האש של כל הלהבות הקודמות שלי"

קל לראות שהמילים המיוצרות באמצעות המכונה דומות למילים של האמן, אך הן לא מתקשרות באמת כלום.

מילות השיר של ניק קייב מספרות סיפור שמתחבר עם הפתוס, התשוקה, הבושה והמרמה הרצונית של האדם המדבר בשיר. הוא מבטא מחשבות ורגשות.

קל לראות למה ניק קייב קורא לזה חיסור של מחויבות.

3. ChatGPT לא מייצר מידע תומך

פורסם מאמר ב"הסתעפות" שציטוט אקדמאי אשר העיר כי המסמכים האקדמיים המיוצרים על ידי ChatGPT חסרים בידע על הנושא.

ChatGPT מסכם את הנושא אך לא מציע ראיות ייחודיות לנושא.

האנושיות יוצרת דרך הידע, אבל גם דרך הניסיון האישי והתפיסות הסובייקטיביות שלהם.

פרופסור כריסטופר ברטל מאוניברסיטת אפלצ'יאן סטייט מדבר, כפי שצוטט על ידי "האינסיידר", שבניגוד לגליונות של צ'אטגפט, שעשוי להציג מאפייני דקדוק גבוהים ורעיונות מתקדמים, זה עדיין מחסר חדות תפיסה.

ברטל אמר:

"הם באמת אפופים. אין הקשר, אין עומק או תובנה."

היבטים מפתיעים הם הסימן המסחרי של מסמך כתוב טוב, וזה משהו ש-ChatGPT אינו מיומן בו במיוחד.

חוסר הבנה זה משהו שכדאי לזכור בעת דירוג תוכן הנוצר על ידי מכונות.

4. צ'אטי-גפט משתמש במילים מיותרות

מאמר מחקר שפורסם בינואר 2023 גילה דפוסים בתכני ChatGPT שהופכים אותו לפחות מתאים ליישומים קריטיים.

המאמר נקרא "כמה קרוב הוא צ'אט-ג'י-פי-טי לבעלי התובנה? השוואת קורפוס, הערכה וזיהוי".

המחקר הראה כי בני האדם מעדיפים תשובות מ-ChatGPT ביותר מ-50% מן השאלות הנענוות בנוגע לפיננסים ולפסיכולוגיה.

אבל ChatGPT נכשל בעניין התשובות לשאלות רפואיות מכיוון שבני אדם מעדיפים תשובות ישירות - משהו שהמונחה לא סיפק.

החוקרים כתבו:

“... הביצועים של ChatGPT חלשים במונחי תועלת לתחום הרפואי בשפות האנגלית והסינית.

ה-ChatGPT נותן לעתים תשובות ארוכות יותר לייעוץ רפואי במאגר הנתונים שלנו, תוך שימוש בשפה מסובכת, בעוד שמומחים אנושיים יכולים לתת תשובות ישירות ומלצות, שכן זה עשוי להסביר חלקית למה מתנדבים מעדיפים תשובות אנושיות בתחום הרפואי.

צ'אטגפט נוהג לכסות נושא מזוויות שונות, מה שמעכב את התשובה הטובה כאשר התשובה הטובה ביותר היא תשובה ישירה.

מסווגי השיווק שמשתמשים ב־ChatGPT חייבים לקחת בחשבון את זה מכיוון שמבקרי האתר המחפשים תשובה ישירה לא יהיו מרוצים עם דף ווב מפורט.

ובהצלחה בדירוג עמוד שמכיל יותר מדי מילים בפיסול תוצאות מובילות של Google, כאשר תשובה מפורטת וברורה שיכולה להתאים ל-Google Voice עשויה לקבל הזדמנות טובה יותר לדירוג מאשר תשובה ארוכה ומייתרת.

OpenAI, אנשי הייצור של ChatGPT, מכירים את הגבולות המוכרים לתשובות מפורטות.

כתבה המכריזה על זה על ידי OpenAI אומרת:

"המודל מדבר הרבה מדי פעמים..."

הטיל הצדק ChatGPT לספק תשובות מפורטות יותר הוא משהו שעליך להקפיד עליו כשאתה משתמש בפלט של ChatGPT, מכיוון שיתכן שתתקל במצבים בהם תשובות יותר קצרות וישירות יכולות להיות טובות יותר.

5. תוכן ChatGPT מאורגן מאוד עם היגיון ברור

הכתיבה ב־ChatGPT נעשית בסגנון ארוך ובעיקר עוקבת אחר תבנית המעניקה לתוכן סגנון ייחודי שאינו חד־אישי.

האיכות האנושית והבעייתית של המכונות מתגלה דרך ההבדלים בין איך אנשים ומכונות עונים על שאלות.

סרט ה-Blade Runner מכיל סצנה המציגה סדרה של שאלות המגדירות האם המענה של הנבדק הוא מטבעות או אדמומיים.

שאלות אלו היו חלק ממבחן כתוביות דמיוני הנקרא "מבחן פויגט-קאמפ".

אחת מהשאלות היא:

"אתה צופה בטלוויזיה. בתוך כך אתה מזהה כוורת זוחלת על הזרוע שלך. מה אתה עושה?"

תגובה אנושית רגילה היא לומר משהו כמו צעקה, לצאת החוצה ולהרעיד עליו, וכו '.

אך כששאלתי את השאלה הזאת לצ'אטגפט, הוא הציע תשובה מסודרת בצורה מדגישה את השאלה וציטוט למספר תוצאות אפשריות בצורה הלוגית - וכך לא ענה על השאלה הממשית.

תמונת מסך של ChatGPT שעונה על שאלת מבחן Voight-Kampff

התשובה מאוד מאורגנת ולוגית, ולכן משאירה תחושה מאוד טבעית, מה שאינו רצוי.

6. צ'אטגפט מפורט ומקיף ביותר

צ'אט-GPT הוכשר בדרך שפיצוי למכונה ניתן כאשר האנשים מרוצים עם התשובה.

השופטים האנושיים נטים להעדיף תשובות שכוללות יותר פרטים.

אך לפעמים, כמו בהקשר רפואי, תשובה ישירה יותר טובה מאשר תשובה מקיפה.

זה אומר שצריך לזרוק גז של הקפדה יותר על הניתוח כשהאיכויות הללו חשובות.

מתוך OpenAI:

"מקור נפצעים מהטעויות בנתוני האימון (המאמנים מעדיפים תשובות ארוכות הנראות יותר מקיפות) ובעיות של שיפור יתר הידועות."

7. ChatGPT מטעה (מדמה עובדות)

המאמר המחקרי לעיל, כמה קרוב צ'אטגפט למומחי אנוש?, העיר כי צ'אטגפט כמוהו, נטיל לכפות אמת.

זה מדווח:

"כאשר תשוב לשאלה הדורשת ידע מקצועי מתחום מסוים, ChatGPT עשויה לגרום לעובדות מדומות כדי לתת תשובה...

לדוגמה, בשאלות משפטיות, צ'אטגפט עשוי לייצר תקנות משפטיות כדי לענות על השאלה.

...בנוסף, כאשר משתמש שואל שאלה ללא תשובה קיימת, ChatGPT עשוי גם לייצר עובדות כדי לספק תשובה.

אתר פיוצריזם תיעד מקרים בהם תוכן שיוצר על ידי מכונה שפורסם באתר של סי-נט היה שגוי ומלא "שגיאות טיפשיות".

בטח ש-CNET היה לה הבנה שכזה דבר יכול לקרות, מאחר ו-OpenAI פרסמו אזהרה לגבי פלט שגוי:

"צ'אטגפי כמה פעמים מכתיבה תשובות הגיוניות אך שגויות או לא-משמעותיות."

CNET טוען שהם הגישו את המאמרים שנוצרו על ידי מכונה לסקירה אנושית לפני הפרסום.

בעיה עם סקירה אנושית היא שתוכן ChatGPT מיועד להישמע נכון ומשכנע, וזה עשוי לגרום לסוקר שאינו מומחה בנושא להיטען.

8. ChatGPT הינו לא טבעי מפני שהוא אינו מתפצל

מאמר המחקר, כמה קרוב הוא של ChatGPT למומחים אנושיים? הדגיש גם את העובדה שהתקשורת האנושית עשויה לכלול משמעויות עקיפות, שדורשות העברת נושא כדי להבין אותן.

צ'אטגפיי יותר מדיי מילולי, ומכך יכול להיות שהתשובות מפספסות את הנקודה מכיוון שהבוט מתעלם מהנושא האמיתי.

החוקרים כתבו:

"תגובות ChatGPT בדרך כלל מתמקדות בקשיבה לשאלה שסופקה, בעוד שכדור האנוש אפשרי להיות מפנה ולעבור לנושאים אחרים."

בנוגע לעשרות תוכן, האנשים משתקפים בדומיות שונות, בעוד שצ'אטגפי עושה דגש על השאלה עצמה.

בני אדם יכולים לענות על משמעות הסתרה תחת השאלה על סמך הסתכלות משותפת וידע שלהם, אך ChatGPT תלוי במילים הללו של השאלה.

בני אדם מסוגלים להתפצל מהשאלה הלטרלית בצורה יותר טובה, מה שחשוב לעניין שאלות מסוג "מה בנוגע ל-".

למשל, אם אני שואל:

"סוסים גדולים מדי כדי להיות חיית מחמד בבית. מה עם טנאים?"

השאלה לעיל אינה מבקשת לדעת אם רקון הוא חיית מחמד מתאימה. השאלה היא על גודל החייה.

צ'ט-גפי-טי מתמקד בהתאמת הארנבון השיטה כחיית מחמד במקום להתמקד בגודל.

צילום מסך של תשובת ChatGPT יותר מדי ממשיות

9. צ'אטגפי.טי הוא משתכנע להיות נייטרלי

פלט ChatGPT כללית נייטרלית ומספקת מידע. האזינים בפלט יכולים להיות מועילים לפעמים אך הם לא תמיד מדויקים.

המאמר המחקרי שדנינו בו לפני כן הבהיר כי החסר צדקנות הוא מאפיין לא רצוי כאשר מדובר על שאלות משפטיות, רפואיות וטכניות.

בני האדם נוטים לבחור צד כשהם מציעים דעות כאלו.

10. צ'אט די.פי.טי. מתאימה להיות פורמלית

פלט של ChatGPT יש לו טיוטה שמונעת ממנו להתרפק ולהשיב עם ביטויים רגילים. במקום זאת, התשובות שלו מתכוונות להיות פורמליות.

בני האדם, מצד שני, נוטים לענות על שאלות בסגנון יותר קולוויאלי, עם שימוש בלשון היומיומית ובסלנג - הפך מסגנון רשמי.

ChatGPT לא משתמש בקיצורים כמו GOAT או TL; DR.

התשובות גם מחסרות מקרי אירוניה, מטפורות וחומור, שעשויות להוסיף פורמליות מיותרת לתוכן ב-ChatGPT.

החוקרים כותבים:

"...המערכת ChatGPT אוהבת להשתמש ביחדי מילים ומילים מכוונות ליצירת זרימת מחשבה לוגית, כגון "באופן כללי", "מצד שני", "בתחילה", "...במקום זאת" וכו'."

11. צ'אטGPT עדיין בתהליך האימון

ChatGPT כרגע עדיין בתהליך הדרכה ושיפור.

מומלץ על ידי OpenAI שכל התוכן שנוצר על ידי ChatGPT ייבדק על ידי בן אדם, וזה מוצג כפענוח מומלץ.

OpenAI מציעה לשמור על האדם בלולאה:

"בכל מקום אפשרי, אנו ממליצים לבצע ביקורת באמצעות בני אדם על הפלטים לפני שהם משמשים בפועל."

זה קריטי במיוחד בתחומים גבוהי העמדות, וליצירת קוד.

האדם צריך להיות מודע למגבלות המערכת ויש לו גישה לכל המידע הדרוש כדי לאמת את הפלטים (למשל, אם היישום מסכם הערות, על האדם להיות בעל גישה קלה להערות המקוריות).

תכונות לא רצויות של ChatGPT

כמו שצפוי ההרכב המכיל ביותר מכמה גישורים ומאפיינים רבים הופך את מערכת ChatGPT לא מתאימה ליצירת תוכן בלתי מכוון. היא מכילה הטיות ואינה מייצרת תוכן הנראה טבעי או מכיל מידע מקורי.

בנוסף, אי-יכולתו להרגיש או ליצור מחשבות מקוריות הופכת אותו לבחירה רעה ליצירת ביטויי אמנותיים.

משתמשים צריכים להפעיל הנחיות מפורטות כדי ליצור תוכן הטוב יותר מהתוכן המתקבל ברירת המחדל.

בסוף, בדיקת אישית של תוכן שנוצר על ידי מכונה אינה תמיד מספקת בגלל שתוכן של ChatGPT מיועד להיראות נכון גם כשזה לא נכון.

זה אומר שחשיבה קדימה של בודקי אנוש היא חשובה והם חייבים להיות מומחים בנושא כדי להבחין בין תוכן נכון ולא נכון בנושא מסוים.