בחודש שעבר פורסם המרכז לחקר סיכון קיומי של אוניברסיטת קיימברידג'מוד ל-Civ V שהציג AI סופר אינטליגנטילמשחק - לא בצורה של יריבים בינה מלאכותית, אלא כטכנולוגיה שיכולה לסיים את המשחק עבור כל שחקן אם זה לא מסומן. זהו שיפוץ חדש למערכת המדעית, כמו גם ניסיון ללמד אנשים על בטיחות בינה מלאכותית.

אמנם היו לי כמה בעיות עם המוד, אבל גם חשבתי שזה רעיון מרתק. מעוניינת ללמוד עוד, דיברתי עם מנהל הפרויקט שחר אבין על האופן שבו המוד נוצר, הבעיות שהוא מציג בצורה גרועה וטובה, וכיצד אנשים יכולים להסתבך עם בטיחות AI בעצמם.

RPS: איך ומתי קיבלת לראשונה את הרעיון למוד?

שחר אבין:איך - הרעיון נוצר בהשראת המושג "טכנולוגיה דיפרנציאלית" בחקר סיכונים טכנולוגיים קיצוניים, שאומר שקל יותר לגרום לפיתוח טכנולוגי ללכת מהר יותר מאשר לגרום לו ללכת לאט יותר. יחד עם זאת, יש כמה טכנולוגיות שהופכות טכנולוגיות אחרות לפחות מסוכנות (בטיחות בינה מלאכותית הופכת את הבינה המלאכותית לפחות מסוכנת, אנרגיה נקייה הופכת כלכלה צומחת לפחות מסוכנת וכו'). אז אתה רוצה להשקיע באופן סלקטיבי בטכנולוגיות שהופכות את העולם בטוח יותר, מוקדם יותר.

כשנתקלתי ברעיון הזה לראשונה, זה היה הגיוני עבורי אינטואיטיבי מכיוון שיכולתי לדמיין את כל הטכנולוגיות האפשריות כגרף גדול, ואיך אולי תרצה להתקדם במורד הגרף הזה בדרכים שונות - באופן שבו עץ הטכנולוגיה של הציביליזציה עושה זאת. מה שגרם לי לחשוב שעולם Civ לוכד כמה מכונות מורכבות למדי בצורה נגישה, ושהוספת היבטים אחרים של סיכון טכנולוגי קיצוני אליו יכולה לעבוד די טוב.

מתי - האור הירוק לפרויקט הגיע במהלך ועידת קיימברידג' בנושא סיכונים קטסטופיים, בדצמבר 2016, ממש לאחר ארוחת הכנס במכללת קלייר.

RPS: מה גרם לך לבחור ב-Civ V, והאם היו משחקים אחרים ששקלת?

עִיר:כפי שהוזכר לעיל (לגבי טכנולוגיה דיפרנציאלית), התחלתי לחשוב על יצירת מוד לסדרת המשחקים Civilization, במקום יצירת משחק או מוד משחק באופן כללי. אז Civ VI רק יצא, ולכן החלטנו ללכת על אופציה בטוחה יותר להפוך אותו ל-Civ V הבוגר יותר, משחק שהיה לי הרבה ניסיון לשחק בו ולכן כבר היו לי כמה רעיונות כיצד לשלב את מושגים לתוך המשחק.

RPS: האם ראית תיאורים של AI סופר אינטליגנטי במשחקים (או ספרים וסרטים) שמעניינים אותך? אני חושב על דוגמאות שחורגות מרעיון 'מרד הרובוטים הרוע', כמועקרון טאלוסאוֹניר אוטומטה.

עִיר:אני אוהב את המוחות ברומני התרבות של איאן מ. בנקס, את ספינות החלל בספר הצדק הנלווה של אן לקי. בשניהם, אינטליגנציות-העל המתוארות (שלמרבה המזל, תואמות מאוד את הערכים האנושיים) משתפות פעולה עם בני אדם, תוך שהם מאוד לא-אנושיים בעצמם. חשוב לציין, הם אינם משרתים, אויבים או אלים, שהם טרופים נפוצים עבור אינטליגנציות מלאכותיות ברמת האדם או חכמות יותר. אני גם אוהב את הגברים הרביעיים בגברים האחרונים והראשונים של אולף סטייפלדון. אני מניח שקראתי יותר ספרים מאשר לשחק משחקים... אהבתי מאוד את ה-Haiku Bot ב-Harebrained Schemes'Shadowrun: הונג קונג![אחר כך שחר אמר לי שהוא עזבמועדון המיתרים האדומיםבעקבות הראיון שלנו, ושיש סיכוי טוב שהוא יוסיף את זה ל"ארסנל החינוכי" שלו. --מאט]

RPS: המוד מתאר בינה מלאכותית סופר-אינטליגנטית שעושה נוכל כ'תרחיש ברירת המחדל', בכך שמובטח שזה יקרה אם השחקן לא יבנה מרכזי בטיחות. האם אתה חושש שעלול לשלוח הודעה לא מדויקת?

עִיר:אם אתה בונה גשר, ולעולם לא תדאג לגבי הלחצים שהוא הולך להיות תחתיהם, 'תרחיש ברירת המחדל' הוא שהגשר הזה יתמוטט. בעוד שההפרדה של מחקר בינה מלאכותית ל"יכולות" ו"בטיחות" היא מלאכותית - בוני גשרים מוצאים שבטיחות היא חלק בלתי נפרד מהעבודה שלהם, וגם חוקרי בינה מלאכותית "לא בטיחותית" עושים זאת - נראה כי כמין אנו נוטים לעבוד רק על מצבי כשל ומקרי קצה לאחר שהצביעו לנו על אלה, בדרך כלל מטבענו או יריב בסוג של תאונה או קטסטופה. כאשר ההימור גבוה מאוד, כפי שאנו חושבים שהם עם AI, זו לא גישה טובה. אז כן, אני חושב שאם לא נתחיל לחשוב עכשיו על כמה מערכות בינה מלאכותית בפריסה רחבה עלולות להיכשל בדרכים קטסטרופליות, ובכל זאת נמשיך לפתח ולפרוס מערכות כאלה, ברירת המחדל היא תוצאה שנחווה את הקטסטרופות האלה.

RPS: האם יש משהו אחר שהיית רוצה שהיית יכול לתקשר בצורה ברורה יותר? מצד שני, אילו סכנות סבירות הנוגעות למודיעין-על אכן מתגלות היטב?

עִיר:יש הרבה ניואנסים שלא הצלחנו למצוא דרכים לכלול בהתחשב בזמן ובתקציב שהיו לנו, או שחשבנו שיהפכו את המוד לפחות מהנה. זה מאוד לא מציאותי שיש מונה לאינטליגנציה על (בטוחה או נוכלת) - אנחנו פשוט לא יודעים כמה אנחנו רחוקים מיצירת הטכנולוגיה הזו, ואולי לא יודעים עד שנהיה קרובים מאוד. המוד מתמקד במדינות לאום המפתחות בינה מלאכותית, אבל אנחנו יודעים שבעולם שלנו תאגידים ממלאים תפקיד הרבה יותר גדול בפיתוח בינה מלאכותית, והפעולות והתמריצים שלהם אינם זהים לאלה של מדינות הלאום. שמרנו על הטכנולוגיות הקשורות לבינה מלאכותית די מינימלית, כי לא רצינו שהמוד ישלוט בשאר המשחק, אבל זה אומר שאנחנו נותנים תצוגה מאוד משורטטת ולא מאוד אינפורמטיבית על ההיסטוריה של הבינה המלאכותית במאות ה-20 וה-21. (אם כי הוספנו עוד תוכן בערכים של Civilopedia).

הייתי שמח לתת לשחקן אפשרויות נוספות להתמודד עם סיכוני בינה מלאכותית - אמנות מרובות מדינות, איסורים גלובליים על יישומים מסוכנים, שיתוף מידע בטיחותי, הסמכה ותקנים וכו' - שרבים מהם הם נושאי מחקר פעילים עדכניים בניהול של AI. עם זאת, אני שמח שהבנו את הרכיבים הבסיסיים בערך כמו שצריך - בינה מלאכותית יכולה להיות ברכה גדולה אבל גם להוות סיכון קיומי, יש דברים שאנחנו יכולים לעשות עכשיו כדי למזער את הסיכון הזה, מחקר בטיחות בינה מלאכותית הוא כנראה בראש הרשימה מהדברים שאנו יכולים לעשות היום, שיתוף פעולה בין מדינות הוא הרבה יותר בטוח מתחרות כאשר מעורבת טכנולוגיה מסוכנת, וגיאופוליטיקה יכולה להרוס הרס לשחקן האלטרואיסטי והבטיחותי ביותר.

RPS: האם נראה שינויים או תוספות כלשהן למוד, והאם יש לך תוכניות לפרויקטים דומים בעתיד?

עִיר:יש לנו כמה שינויים קטנים בצנרת בעקבות משוב מהשחקנים (בעיקר מדף Steam), ונמשיך להגיב לדיווחי באגים ולבקשות תכונה. נשמח לראות את המושגים הללו משולבים בגרסאות עדכניות יותר של Civ, ובמשחקים אחרים, אך אין לנו עדיין תוכניות קונקרטיות כיצד לפעול, אם באמצעות אופנים נוספים או באמצעות שיתוף פעולה עם אולפני משחקים ישירות. אנחנו גם בוחנים את הפוטנציאל לתאר סיכונים קיומיים אחרים בצורה דומה, וגם ביצירת הדמיה הרבה יותר מפורטת של תרחיש הבינה המלאכותית.

RPS: מדוע עלינו לפחד מבינה מלאכותית סופר-אינטליגנטית?

עִיר:אני לא חושב שפחד הוא התגובה הנכונה ל-AI סופר-אינטליגנט - אני חושב שסקרנות הרבה יותר חשובה. אני חושב שעלינו להיות מודעים לעתיד האפשרי הכולל AI סופר-אינטליגנטית, ולהיות מודעים לכך שחלק מהעתידים האלה מסתיימים רע מאוד עבור האנושות, בעוד שאחרים בסופו של דבר טובים בהרבה מאורחות החיים הנוכחיות שלנו. והכי חשוב, עלינו להיות מודעים לכך שיש בחירות שאנחנו יכולים לעשות עכשיו שמשפיעות לאיזה עתיד נגיע, אבל נוכל לעשות את הבחירות האלה בצורה מושכלת רק אם נהיה מוכנים לעסוק בשניהם בפרטים של הטכנולוגיה, ועם מורכבות ההשפעות האפשריות שלה.

המוד מתאר תרחיש סיכון מסוים של מודיעין-על סורר, הכולל המראה מהירה של מערכת שמסוגלת לפתור בעיות ולפעול על העולם באופן העולה על היכולת האנושית, אך עם זאת מערכת שאינה לוקחת בחשבון את הערכים האנושיים. או דוחה פיקוח אנושי, ואשר מכוון למצב שאינו תורם להישרדות האדם. ראינו תאגידים שמוכנים להוציא סכומים משמעותיים על ערפול של ממצאים מדעיים לגבי נזקי עישון או שינויי אקלים, למרות היותם ישויות שנוצרו על ידי אנשים, של אנשים ולמען אנשים. נראה סביר שסוכנים מלאכותיים חזקים יותר, אך אנושיים פחות, יכולים לבצע פעולות מזיקות הרבה יותר במהלך פעולתם. עם זאת, שוב, זהו רק עתיד אפשרי אחד מני רבים - המסר המרכזי הוא לחקור עוד, ולאחר מכן לפעול באחריות בהתבסס על החקירה שלנו.

RPS: מעבר למשחק ולדיבור על המוד, האם יש דרכים אחרות שבהן אנשים יכולים להסתבך עם הדיון בנושא בטיחות AI?

עִיר:המון! בטיחות בינה מלאכותית טכנית היא תחום צומח, עםאג'נדות מחקר,חומרי היכרות,מדריכי קריירה, ומשרות מלאות. יש גם תחום הולך וגדל של מדיניות ואסטרטגיה של AI (מַדְרִיך), עם מספר מרכזי מחקר ברחבי העולם. ישנן גם אגודות סטודנטים רבות, קבוצות קריאה, בלוגים, מענקים, פרסים וכנסים המציעים הזדמנויות להיות מעורבות.

RPS: תודה על הזמן שהקדשת.