ממשל בטיחות של בינה מלאכותית כללית (AGI) שואל מי מחזיק בכוח כשמערכות כאלה נעשות מסוגלות מספיק כדי לעצב מחדש שווקים, שוק עבודה וביטחון. משקיעים נמצאים בתוך הרשת הזו בין אם הם מממנים מעבדות מחקר, יצרני שבבים או סטארטאפים של יישומים. המפה המעשית שכל גורם הון צריך לפני שהוא חותם על צ׳ק היא בדיוק מה ש־Foundation עוקב אחריו: הון מוקדם מעצב התנהגות מאוחרת.
בעלי עניין כמעט אף פעם לא מסתדרים בטבלאות ארגון נקיות. הון, כישרון, כוח מחשוב, רגולציה ולחץ ציבורי מתנגשים בזמן אמת. הבנה של כל קבוצה מונעת הפתעות שפוגעות בשווי התיק או במוניטין.
ספקי הון שמממנים את מרוץ הכוח המחשוב והכישרון
קרנות הון סיכון, זרועות השקעה תאגידיות ומשרדי משפחה מספקים את הכסף שקונה אשכולות שבבים מתקדמים ומגייס חוקרים מובילים. תנאי ההשקעה שלהם קובעים לעיתים קרובות את קצב אימוני המודלים. כשהם דורשים הדגמות רבעוניות על חשבון אבני דרך של בטיחות, הצוותים מקצרים תהליכים. Foundation מעודד משקיעים להתייחס לסעיפי ממשל ברצינות זהה לתקרות שווי. מי שמחפש הקשר עמוק יותר על שיקול דעת אנושי מוקדם יכול לעיין ב־מדוע אנו משקיעים באנשים לפני שיש להם חברה לפני שהוא בוחן מצגת הקשורה ל־AGI.
שותפים מוגבלים כמו קרנות אוניברסיטאיות וקרנות עושר ריבוניות יושבים שכבה אחת מעל. הם מבקשים יותר ויותר מהשותפים הכלליים מדיניות מפורשת לגבי טכנולוגיה דו־שימושית. שתיקה בשאלות האלה מסמנת היום בדיקת נאותות חלשה, לא תחכום.
ארגוני מחקר שרצים לעבר מערכות חזקות
מעבדות החזית מעצבות את המודלים שעשויים יום אחד להשתוות או לעלות על ביצועי אדם ברוב המשימות הקוגניטיביות. צוותי הבטיחות הפנימיים, קבוצות ה־red teaming וועדות האתיקה הם קו ההגנה הראשון. עם זאת, אותם ארגונים מתחרים על תשומת לב תקשורתית ועל כישרון, ויוצרים תמריצים שמושכים נגד זהירות. משקיעים חייבים לוודא שתקציבי הבטיחות גדלים יחד עם הוצאות המחשוב, ולא נשארים סעיף קבוע וסטטי.
גם מכונים אקדמיים וקבוצות מחקר פתוחות קטנות יותר חשובים. הם מפרסמים מדדים שהופכים לסטנדרטים דה־פקטו. מעקב אחרי מי משפיע על פרוטוקולי ההערכה עוזר לחזות לאן יגיע הלחץ הרגולטורי הבא.
רשויות לאומיות ששולטות בשבבים, בייצוא ובאחריות
ממשלות מחליטות מי רשאי לקנות מוליכים למחצה מתקדמים ובאילו תנאים מותר לשחרר מודלים. רשימות פיקוח ייצוא כבר מתייחסות לאימונים מסוימים כרגישים. משטרי האחריות למערכות אוטונומיות עדיין חלקיים, ולכן משקיעים מתמודדים עם אי־ודאות לגבי תביעות עתידיות. רשות ניירות הערך האמריקאית (SEC) מצפה יותר ויותר מחברות ציבוריות לחשוף סיכוני AI מהותיים בדיווחים, ויוצרת תבנית ששווקים פרטיים נוטים לאמץ.
גופי ביטחון ומודיעין עוקבים מקרוב אחרי יישומים דו־שימושיים. חברת פורטפוליו שמושכת פתאום עניין מסווג עלולה לאבד חופש מסחרי בן לילה. שיחות מוקדמות על סיכון סיווג שייכות לכל משא ומתן על תנאי השקעה.
פורומים רב־צדדיים שמגדירים סטנדרטים רכים מעבר לגבולות
גופים כמו הארגון לשיתוף פעולה ולפיתוח כלכלי (OECD) מעצבים הנחיות וולונטריות שבהמשך מתקשות לחוק לאומי. קבוצות העבודה שלהם על AI אחראי משפיעות על האופן שבו מדינות קטנות מנסחות חקיקה. משקיעים שמתעלמים מהפורומים האלה מגלים מאוחר יותר שחברות הפורטפוליו שלהם נושאות בעלויות ציות בלתי צפויות. זרם העבודה של OECD בנושא עסקים קטנים ויזמות בוחן באופן קבוע איך חברות צעירות קולטות כללי טכנולוגיה חדשים, ומספק אותות אזהרה מוקדמים.
גם מוסדות פיננסיים בינלאומיים נכנסים לתמונה. דוחות מתוך ספריית הפרסומים של קרן המטבע הבינלאומית ממדלים לעיתים קרובות רווחי פריון מול סיכון מערכתי, ומעניקים לשותפים מוגבלים שפה שאפשר להשתמש בה בוועדות הסיכון שלהם.
שומרי סף בחברה האזרחית ומבקרים עצמאיים
ארגונים לא ממשלתיים, מרכזים אקדמיים וחברות ביקורת מתמחות לוחצים על מעבדות לפרסם תיקי בטיחות לפני שחרור. מכתבים פומביים וביקורות טכניות שלהם יכולים להזיז מחירי מניות ולייבש סבבי המשך. משקיעים חכמים שומרים על ערוצים לא פורמליים עם הקבוצות האלה במקום להתייחס אליהן כאל יריבות.
מעריכים עצמאיים שבודקים מודלים להתנהגות מטעה או להכללת מטרות שגויה מוכרים כיום את שירותיהם גם למעבדות וגם למשקיעים. הקצאת תקציב לביקורות צד שלישי לפני סבב B הפכה לאות שקט של רצינות. אותם מעריכים מפרסמים לעיתים ממצאים פתוחים שמזינים את השיחה הרחבה יותר ב־ארכיון השקעה בטכנולוגיה בקרב קוראי Foundation.
מפעילי חממות ומנטורים בתוכניות מוקדמות
תוכניות סטארטאפ שמארחות צוותים סמוכים ל־AGI מעצבות נורמות תרבותיות הרבה לפני שקיימים דירקטוריונים פורמליים. מנטורים שחוגגים רק מהירות יוצרים מייסדים שבהמשך מתנגדים לתהליכי בטיחות. Foundation סבור שכישרון טכני עדיין זקוק לעיגון מסחרי, ולכן חינוך עסקי חובה למייסדים טכניים: מה שקוראים חדשים צריכים לדעת נשאר קריאת חובה לכל קוהורטה שנוגעת במודלים מתקדמים.
מנהלי תוכניות גם שולטים בנרטיב של יום ההדגמות. מסגור חברה כ״בטיחות קודם״ מושך הון שונה ממסגור כמשחק יכולת טהור. משקיעים שבודקים התאמה בין הסיפור הפומבי למפת הדרכים הפרטית צריכים לבקש ממנטורים הערות לא מסוננות, לא רק מצגות מלוטשות.
רשתות פתוחות ופיזור משקלי מודלים
קהילות שמשחררות משקלים, מתכוני אימון וכלי fine-tuning יכולות להאיץ גם יישומים מועילים וגם שימוש לרעה. הערכה אם גישה פתוחה יוצרת יתרון בר־קיימא דורשת מדדים חדשים. המאמר הערכת חפיר בקוד פתוח: אותות שכדאי לעקוב אחריהם מפרט אותות מעשיים שמשקיעים יכולים לעקוב אחריהם גם בלי רקע מחקרי.
משרדי פטנטים מתעדים הגשות הגנתיות שחושפות אילו טכניקות מעבדות רואות כקנייניות. בדיקת מאגר משרד הפטנטים והסימנים המסחריים האמריקאי לגבי תביעות אחרונות סביב שיטות יישור או כלי פרשנות נותנת התראה מוקדמת על מיצוב תחרותי. עבודה מקבילה על אקוסיסטמות חדשנות מופיעה בחומרי החדשנות של הבנק העולמי שמתארים איך ידע מתפשט מעבר לגבולות.
שווקי שיקום יוצרים לחץ נוסף. צוותים שיחפשו בהמשך חוזים הקשורים להזדמנויות שיקום באוקראינה חייבים להדגים בגרות ממשלית שתספק גם מממנים מסחריים וגם ציבוריים. הרגלים מוקדמים שנוצרים בתוך חממות קובעים אם הדלתות האלה יישארו פתוחות.
משקיעים שמחפשים מבט רחב יותר על הגישה של Foundation יכולים לעיין במדור למשקיעים, ושאלות תהליך נפוצות מופיעות ב־שאלות נפוצות. ממשל אינו משימה שמסתיימת; זו משמעת מתמשכת של לדעת מי מחזיק באיזה מנוף, ולמה המנוף הזה חשוב כשהמודלים משתפרים מהר יותר מהמוסדות.
ערך נצחי. מורשת לנצח.
