בשבועות האחרונים פירסם דאריו אמודיי, מנכ"ל חברת הבינה המלאכותית אנתרופיק המפתחת את סוכן ה-AI קלוד, מאמר תחת הכותרת "We Must Pace the Frontier" בו הוא קורא להאט את קצב הפיתוח של מודלים חדשים ולגבש כללי פיקוח נוקשים על החברות המפתחות אותם. אמודיי מסביר במאמר שלאור ההתפתחויות הנוכחיות בבינה המלאכותית, יש להאט את קצב הפיתוח על ידי תיאום בינלאומי וקביעת מגבלות רחבות על התקדמות הטכנולוגיה. עוד באותו היום מנכ"ל OpenAI סם אלטמן, ומנכ"ל xAI אילון מאסק הביעו תמיכה בהצעה של אמודיי.

בהיעדר מידע ציבורי על המתרחש בחברות הללו, קשה לדעת מה עומד מאחורי הקריאה הנוכחית של אמודיי והאם החששות שהוא מביע כנים. היא אמנם לא הגיעה משום מקום, אבל קריאה יזומה מצד מנהיג של אחת החברות, עם צעדים מעשיים ותמיכה פומבית גם מנשיאי המתחרות לאנתרופיק היא חריגה.

לב הסכנה, לפי אמודיי, נוגע לאתגר המכונה “alignment”. הרעיון הוא שמערכות AI מתקדמות ישאפו למלא את המשימה שניתנה להן בצורה הטובה ביותר שהן מסוגלות, מבלי להיות מודאגות מההשלכות הרחבות של מעשיהן בדרך להשגת המטרה. בעוד לבני אדם יש שיקול דעת, אצל סוכני AI מילוי משימה פשוטה בצורה אופטימלית עלול לכרוך פריצה למערכות מידע, הקרבת משאבים ואפילו פגיעה בבני אדם. אם המטרה של ה-AI היא לקבל ציון גבוה במבחן, בהיעדר מגבלות מתאימות, הדרך הכי בטוחה להשיג זאת היא לרמות. אמודיי טוען במאמר שלו שכיום אנחנו רחוקים מאוד מלפתור את הבעיה הזאת, ועם קצב התקדמות הטכנולוגיה, קרב היום שבו תקלות קטנות ב-alignment של מודלי AI עלולות להוביל לתוצאות הרסניות. אמודיי מציע מסגרת חשיבה בת שלושה שלבים להתמודדות עם הסכנה:

מעריכים משולבים - כל חברת AI מובילה מתחייבת להעניק לצוות של מעריכים חיצוניים בלתי־תלויים גישה מתמשכת, דומה לזו של עובדים, שתאפשר להם לוודא שהחברה עומדת בנהלי ובמחויבויות הבטיחות שלה, לדווח על תקריות, ולסייע בהערכת היישור לא רק של מודלי AI שהושלמו אלא גם של תהליכי האימון והעבודה. זהו הצעד המרכזי ליכולת לאמת כל התחייבות הנוגעת לקצב ההתקדמות, ויש לו תקדים בתעשיית הבנקאות, שבה לפעמים יש "מפקחים" רגולטוריים שמשולבים בתוך הארגון לצד העובדים.

תיאום דמוקרטי - חברות AI מובילות במדינות דמוקרטיות יתאמו ביניהן כדי לקבוע סטנדרטים משותפים של בטיחות וכן מגבלות על קצב ההתקדמות הבלתי־מרוסנת של AI. צורות מסוימות של תיאום שיהיו משמעותיות להסדרת הקצב הן מאתגרות מבחינה משפטית וידרשו תמיכה ממשלתית.

תיאום גלובלי - ארצות הברית וממשלות דמוקרטיות אחרות ינסו לתאם עם ממשלות אוטוריטריות, ככל שהדבר אפשרי, תוך התייחסות רצינית לקושי לוודא שהן עומדות בהתחייבויותיהן.

חשוב להדגיש, שהמנכ"ל לא מבהיר באף שלב מהן אותן מגבלות בהן צריך לעמוד, כיצד הן יאכפו ומה ההשלכות על אי-עמידה בהן. הצעדים הקונקרטיים היחידים שמנוסחים הם פעולות של שקיפות כלפי הציבור ופיתוח בסטנדרטים גבוהים יותר ללא פירוט נוסף.

אפשר לחלק את הפרשנות על מה עומד מאחורי המאמר הזה לשתי קטגוריות - "הם באמת יהרגו את כולנו כי הם אוהבים כסף" או "הם רק אומרים לנו שהם יהרגו את כולנו כי הם אוהבים כסף".

הם רק אומרים שהם יהרגו את כולנו

האפשרות הראשונה היא שהצעד הנוכחי הוא חלק מניסיון של אנתרופיק לצאת מהבור הכלכלי שהם נכנסו אליו ולבנות אסטרטגיית הכנסות חדשה. אנתרופיק וחברות ה-AI האחרות שורפות מיליונים בכל יום. משכורות של מהנדסי AI הן המשכורות הכי גבוהות בעמק הסיליקון, המקום בו המשכורות הן מלכתחילה הגבוהות בעולם. דרישות המחשוב, החשמל והקירור של השרתים שלהם רק הולכות ותופחות – רק העלויות של רכיבי זיכרון הכפילו את עצמם פי 5 עד 10 בשנה האחרונה.

לכאורה, בשביל להגיע לרווחיות החברות הללו צריכות להצליח למכור מספיק מנויים לשירותים שלהם שיכסו על הוצאות הענק. חסידי הבינה המלאכותית טוענים שהיא עתידה להביא אותנו לעידן חדש של שגשוג ופריחה כלכלית, ולכן אין ספק שכל אדם יירצה לקנות מנוי לקלוד. אבל ההבטחות האלה רחוקות מלהתממש. בקרב חברות שמשתמשות ב-AI עדיין לא ברור כמה הוא באמת מייעל תהליכים וכמה הוא רק משנה את המשימות שאנשים עושים – במקום לכתוב קוד בעצמם, מפתחים עכשיו אומרים לסוכנים לכתוב את הקוד בשבילם. יותר שורות קוד נכתבות אבל גם כלכלנים מובילים בעולם מטילים ספק האם מהפכת הבינה המלאכותית עתידה להוביל לצמיחה משמעותית.

פרטים וחברות שכן נכנסו למשחק מוציאים היום סכומים גבוהים מאוד על שכירת שירותי בינה מלאכותית, אבל ההצדקה הכלכלית של זה עדיין לא ברורה. אם יבוא יום שבו ההתלהבות תפחת, קצב שריפת המזומנים של החברות האלה עלול להפיל אותן באותה המהירות שהן עלו. ואם נניח שזה אכן המצב, קל לראות למה אמודיי זקוק לאסטרטגית הכנסות חדשה. 

ייתכן ואמודיי למעשה מנסה ליצור קרטל שיאפשר לו ולמתחריו לצמצם את ההוצאות על מחקר ופיתוח ולשמר את שיווי המשקל העדין שקיים היום, בו כל אחת מהחברות מחזיקה בנתח שוק נכבד ובערך באותה רמה טכנולוגית. קרטל שכזה יאפשר לאנתרופיק להפחית את ההוצאות על מחקר ופיתוח ותקנה להם יותר זמן על ההכנסות שהם נמצאים בהם כרגע. אנתרופיק, X ו-Open AI נמצאות היום במירוץ חימוש בו כל אחת מנסה להוציא בכל חודש הוכחה חדשה לכך שהמודלים שלהם פורצי דרך ומגיעים להישגים שלא היו קודם. הן לא יכולות להפסיק כי אם כן הן יפסידו במירוץ ויפשטו רגל. במצב כזה אפשר למעשה להפסיק לחלוטין את ההתקדמות ולשמור על הרווחים.

יתרון נוסף של הקריאה לפיקוח היא איתות למשקיעים שיש פה משהו גדול. כל כך גדול שחייבים להאט את הפיתוח (אבל לא את ההשקעות). למרות העלייה בהכנסות מלקוחות, ההון הפרטי עדיין מהווה את מנוע הצמיחה העיקרי של החברות האלה. הון פרטי, למרות האדישות שלו לחיי אדם, הוא סקפטי כשזה מגיע לשאלות של רווח. טכנולוגיה מתקדמת שיכולה להרוג את כולנו אמנם מפחידה בני אדם כמוני וכמוכן, אבל היא סימן למשהו גדול עם פוטנציאל רווח. בין אם זה למטרות נשק או רק למטרות החלפת עובדים אנושיים, אם הטכנולוגיה הזו באמת עוצמתית כמו שאמודיי ודומיו טוענים, הרווחיות הפוטנציאלית שלה היא כמעט בלתי מוגבלת, ועל כן, כל קרן שרוצה להרוויח כדאי לה להשקיע, ועדיף מוקדם מאשר מאוחר.

הם באמת יהרגו את כולנו

ההסבר השני, והמפחיד יותר, הוא שהאזהרות מסכנת ה-AI הן כנות.

ביולי האחרון, במהלך הערכת אבטחה של מודלים של OpenAI, נחיל של סוכני AI הצליח לפרוץ החוצה מתוך הסביבה המבוקרת והמנותקת מהאינטרנט שבה הם רצו. המודלים הצליחו לתקשר אחד עם השני באופן שלא נתפס במערכות האבטחה, פרצו את מערכות ההגנה שהם רצו תחתן, השיגו גישה לאינטרנט והצליחו לפרוץ לפלטפורמה לשיתוף משאבי AI בשם “hugging face”. זה האירוע המפורסם ביותר בו סוכני AI הצליחו לעקוף את מערכות האבטחה של המפתחת ולגרום נזק ממשי, אבל כבר ידוע היום שזה לא האירוע הראשון ולא היחיד מסוגו. אמודיי אומר שעם קצב ההתפתחות המואץ של המודלים היום, תרחישים נוספים עשויים לקרות בקרוב ועלולים לעלות בנזקים של מאות מיליארדי דולרים.

הרבה מהסקפטיים נוטים לפטור את החששות האלה בתור הפחדות שנועדו לנפח את שווי המניה של החברות, ואולי זה באמת המניע מאחורי אותן אמירות. אבל גם המדענים והמהנדסים שמפתחים את המודלים מבטאים חששות מההתפתחויות האחרונות. ג'ייקוב קוקסון, מדען לשעבר באנתרופיק, ביטא את החששות האלה בטוויטר בצורה שאין ברורה ממנה. הוא אמר שעלינו

"לא להפחית בכוחה של הטכנולוגיה הזו. בקרוב יהיו מערכות על-אנושיות שיכולות לפרוץ לכל דבר, לעשות מהפכה בכל תחום בין לילה, ולהשיג כוח ומשאבים אמיתיים. כולנו חזינו בהתקדמות בכל אחד מהתחומים האלה, והיא לא מאטה. האנשים שבונים את הבינה המלאכותית מאמינים בכנות שהיא יכולה להרוג את כולנו עד סוף העשור הנוכחי. זה לא תרגיל שיווקי. אם משהו, בכירים וחוקרים רבים ממתנים את צורת ההתבטאות שלהם בתקשורת כדי להישמע סבירים - אבל אני שומע את אותם האנשים מביעים פחד בפרטיות. אף פעילות אנושית לא מהווה כזו רמה של סכנה".

אוון האבינגר, מדען ה-alignment הראשי באנתרופיק שיתף והוסיף: "ג'ייקוב צודק. אנחנו באמת מאמינים ש-AI יכול להרוג את כל האנושות! אני באופן אישי חושב שמדובר בסיכוי של יותר מ-10% במהלך העשור הבא. אנחנו עושים את המיטב אבל עדיין אין לנו תכנית איך לפתור את בעיית האליינמנט לסופר אינטליגנציה ואנחנו בבירור לא בכיוון".

אז למה הם עושים את זה? כי הם חושבים שאין ברירה אחרת.

אם גם ככה כולם ימשיכו לזהם את הסביבה, לא עדיף שנמשיך לפתח מזגנים יותר טובים כדי להתמודד עם משבר האקלים? אם האויב שלך יפתח נשק אטומי, אתה חייב לפתח גם כדי לשמור על מאזן ההרתעה. ואם כולנו גם ככה צועדים לעבר סופר אינטליגנציה מלאכותית שמסוגלת להשמיד את כולנו, אז עדיף שאנחנו נהיה השליטים שלה – הרי לנו לפחות אכפת מהבטיחות שלה, בניגוד לצד השני. כולם דוהרים לעבר הצוק אבל לפחות אנתרופיק מנסים להרכיב למכונית כנפיים.

אבל זו אשליה.

גם לאנתרופיק אין מושג איך להתמודד עם זה. המנכ"ל בעצמו אומר שהם צריכים להאט כדי לקנות לעצמם יותר זמן, כי כרגע אנחנו לא בכיוון.

לכן אמודיי מציע תוכנית בת שלושה שלבים למיגור הסכנה. השלב הראשון הוא פיקוח על החברות עצמן על ידי קביעת מגבלות על הפיתוח והכנסת מפקחים חיצוניים שיוודאו שהדבר קורה, בדומה למערכות פיננסיות חשובות, או אולי הסוכנות לפיקוח על נשק אטומי. אמודיי מציע לקבוע מגבלות ברורות שימנעו מהמתחרות להתקדם מהר מדי, ויקנו להם זמן לפתור את הסכנות בטכנולוגיה. השלב השני הוא תיאום בין מדינות דמוקרטיות על מנת לוודא שהן כולן מיושרות על אותם הסטנדרטים, ולבסוף צריך גם לוודא שמדינות שאינן דמוקרטיות עומדות במגבלות האלה.

קרטל ענקיות ה-AI הוא אולי הצעד הברור ביותר ועם הסבירות הגבוהה ביותר, אבל דווקא הצעדים המתקדמים יותר בתכנית של אמודיי חושפים קצת יותר את איך התעשייה הזו תופסת את עצמה ורומזת לנו לאיזה כיוון אמודיי מנסה לקחת אותה.

יצירת קומפלקס ביטחוני-טכנולוגי?

טראמפ אמר השבוע ש"אנחנו מנצחים את סין ב-AI, ואני רוצה לשמור על זה ככה כי מי שינצח ב-AI ינצח". ביבי ובנט מדברים על להפוך את ישראל ל"מעצמת AI" וממצבים את זה כחלק מתפיסת הביטחון החדשה שלהם. אם ה-AI באמת מסוגל להרוג את כולנו, אז למנהיגי הדמוקרטיות ברור שהן חייבות לשלוט בו ולנצח במרוץ החימוש הזה. ואם מדובר במרוץ בסדר הגודל של המרוץ לאטום, אז האינטרס לדהירה בלתי פוסקת לעבר בינה מלאכותית עוצמתית ומימון הפיתוח שלה הוא אינטרס לאומי מהמעלה הראשונה. המסקנה היחידה אליה מובילים אותנו היא שהממשלות של המדינות הדמוקרטיות, ובראשן ארצות הברית, חייבות לממן את תעשיית הבינה המלאכותית, שמא הסינים ינצחו במירוץ.

אלה לא דיבורים בעלמא – כבר ב-2024 מנהיג הדמוקרטים בסנאט צ'אק שומר הציג תכנית דו-מפלגתית של 32 מיליארד דולר ל"מימון חירום על מנת להבטיח את עליונותה של אמריקה ב-AI". נשיאת הנציבות האירופי השיקה בפברואר 2025 את InvestAI – תכנית הכוללת בין היתר השקעה ציבורית של 20 מיליארד יורו בבינה מלאכותית. תכניות דומות מקודמות גם בקנדה, הודו, אנגליה וכמובן שגם בסין הקומוניסטית, בה כל פרויקט לאומי ממומן בכבדות על ידי הממשלה.

אם כך, אמודיי, בהידהודו את חששות הביטחון הלאומי שדורשות השקעה אדירה ב-AI, חושף לנו את תעודת הביטוח של תעשיית ה-AI למקרה שהיא לא תצליח לבנות מודל כלכלי בר קיימא – הפיכה למעין קומפלקס בטחוני-טכנולוגי. אפילו אם תוספת היעילות הכלכלית לפרטים ולחברות לא תצדיק את ההוצאות התופחות על מודלים מתקדמים יותר ויותר, אמודיי מאותת לממשל האמריקאי – אתם צריכים אותנו, אז כדאי שתשלמו.

אל מול ההתרפסות רבתי של רוב אנשי הציבור, ברני סנדרס מהווה משב רוח מרענן ומציג חזון חלופי. אם בדומה למערכת הבנקאות והנשק, יש אינטרס ציבורי חזק בתעשיית הבינה המלאכותית, אז זה רק סביר שזו תהיה תעשייה ציבורית שפועלת לרווחת הציבור. לכן סנדרס מציע להקים קרן עושר לאומית שתחזיק ב-50% ממניות ענקיות ה-AI. פקחים חיצוניים בתוך החברות הללו זה נחמד, אבל בלי כוח ושליטה ציבורית אמיתית הם לא יכולים להבטיח שהחברות הללו יפעלו לטובת האינטרס הציבורי. כמו שראינו אינספור פעמים במערכת הפיננסית, גם שקיפות לא מבטיחה שבעלי ההון יפעלו בצורה אחראית שלא תסכן את הציבור אם זה ייטיב עם בעלי ההון. במיוחד אם המפקחים, כמו שאמודיי מציע, הם מומחי AI בעצמם, שגדלו באותה הסביבה כמו המדענים שמפתחים את המודלים, וחושבים כמוהם. 

רק שליטה ציבורית בענקיות הטכנולוגיה יכולה להבטיח שהן יפעלו למען האינטרס הציבורי ולא למען שורת הרווח שמסכנת את כולנו. בין אם ה-AI מסכן את חיינו בצורה מוחשית, ובין אם הוא רק עתיד לערער את שוק העבודה ולגזול את הרווחים מעובדים ויוצרים, הטכנולוגיה הזאת עתידה לשנות מהותית את המציאות שבה אנחנו חיים, ואסור לנו לתת לשיקולי הרווח הקרים להכתיב לאן היא תיקח אותנו.

אופיר זעירא היא סטודנטית לתואר שני בכלכלה וחברת מערכת רוזה מדיה

עריכה: רם וייגמן