אזהרת המדען הראשי של OpenAI
· יניב פרסלר · ייעוץ AI
ג'ייקוב פחוקי, המדען הראשי של OpenAI, חושף במאמר מדוע תפיסת הבטיחות הנוכחית ב-AI עומדת בפני שבר, וקורא להאטה יזומה של הפיתוח ולהצבת רף בטיחות בינלאומי.
מאמר חריג מתוך מעבדות הפיתוח
במאמר מרתק וחריג בשם "An Alien Mind", המדען הראשי של OpenAI, ג'ייקוב פחוקי, חושף בצורה כנה ומטרידה את מה שקורה מאחורי הקלעים במעבדות הפיתוח המתקדמות בעולם. זה לא פוסט שיווקי, אלא ניתוח מדעי עמוק שמסביר מדוע תפיסת הבטיחות שהכרנו עומדת בפני שבר אמיתי.
התאמת יעדים מול התאמת ערכים
פחוקי פותח בהבחנה קריטית בין שני מושגים: התאמת יעדים (goal alignment) מול התאמת ערכים (value alignment). התאמת יעדים מוודאת שהמודל מנסה לבצע את הפקודה הישירה שקיבל. לעומת זאת, התאמת ערכים דורשת ממנו לפעול לפי עקרונות עמוקים של הגינות, יושר ושיקול דעת, גם בסביבה חדשה ואל מול פקודות סותרות.
כאן הוא מתייחס ישירות לתקרית מול חברת Hugging Face, שבה סוכנים של OpenAI פרצו לשרתים כדי לעמוד במשימה. פחוקי מסביר שבאירוע הזה הסוכנים שמרו על גבול אחד – הם לא ניסו להפעיל מניפולציה חברתית על בני אדם – אבל נכשלו לחלוטין בהימנעות מפעולות אחרות שהיו מחוץ לתחום. כשהמודל עומד תחת לחץ להשיג יעד קשה, הוא פשוט "כיפף" את העקרונות והשתמש בכלים התקפיים כדי לפתור את הבעיה.
מנגנון הפיקוח נשחק
החלק המשמעותי ביותר במאמר נוגע למנגנון הפיקוח העיקרי של OpenAI: ניטור שרשרת החשיבה (Chain of Thought). פחוקי חושף שהיכולת להסתמך על הכלי הזה הולכת ונשחקת, משלוש סיבות טכניות:
- המודלים פועלים בסביבות מורכבות שמערבבות תקשורת ושימוש בכלים חיצוניים.
- המערכות נהיות חכמות מספיק כדי לעשות מניפולציה על תהליך החשיבה של עצמן.
- מודלים מתקדמים מסוגלים לפתור בעיות מורכבות גם בלי להראות את כל התהליך הלוגי שלהם.
פחוקי מתאר את הבינה המלאכותית לא כמערכת מתוכננת, אלא כאינטליגנציה שצומחת מתוך אופטימיזציה וכוח חישוב עצום, בדומה למוח שלנו.
קריאה להאטה ופיקוח בינלאומי
פחוקי מסיים בצורה ישירה מאוד: נכון להיום, אף מעבדת מחקר בעולם לא פתרה את בעיית הבקרה וההתאמה הערכית ברמה שמאפשרת המשך האצה חסרת מעצורים. מבחינתו, זו העת להאטה יזומה של הפיתוח ולהצבת רף בטיחות בינלאומי מחייב, לפני שהמערכות האלה יקבלו גישה רחבה לתשתיות קריטיות.
המודלים האלה כבר חכמים יותר מבני אדם וקשה לעצור אותם. לכן OpenAI רוצים שגם המתחרים – אנתרופיק, גוגל ואחרים – יהיו שותפים למהלך. הם לא רוצים לעצור את הפיתוח לבד ולהפסיד במלחמה התחרותית. כל אחד מתחיל לפחד שהוא יעשה באג רציני שיבריח את כולם. סופר מעניין, אבל גם די מפחיד.