הרעלת נתונים: האיום השקט על בחירות דמוקרטיות

במשך שנים התרגלנו לחשוב על איומי השפעה זרה בתקופות של בחירות במונחים של פריצה, פייקים, התערבות ישירה. מישהו חודר למחשבי ועדת הבחירות, משנה תוצאות, גונב מידע על בוחרים. מישהו מפיץ מידע כוזב על מועמדים או מייצר סרטון AI שלהם אומרים דברים שמעולם לא אמרו, ועושים דברים שמעולם לא עשו. לכולנו זכורה פרשת קיימברידג' אנליטיקה משנת 2016, שבה השימוש במיקרו-טרגטינג של בוחרים על בסיס המידע האישי הרב שנאסף עליהם ברשתות החברתיות הפך לתופעה שמדברים עליה. זכורה גם ההאשמה של דונלד טראמפ כלפי חברת דומיניון שניהלת את מערכות ההצבעה בבחירות 2020, על כך שזייפה את ההצבעות. אבל לאחרונה, עולה איום חדש וקצת אחר. לאחרונה נחשפתי לשיחה מרתקת שהתקיימה בין דודי סימן טוב, ראש תחום תודעה והשפעה זרה במכון למחקרי ביטחון לאומי, וד"ר שי הרשקוביץ מאוניברסיטת ג'ורג'טאון, במסגרת הפודקאסט משדרים ביטחון, ומהשיחה הזו עולה תמונה שונה מהותית. האיום החדש על בחירות דמוקרטיות בעידן הבינה המלאכותית אינו רק הפצת פייק או פריצה למערכות, אלא הרעלה של הידע שהמערכות הללו, ומשתמשי הקצה שלהן, נשענים עליו.

הרעלת נתונים (Data Poisoning) היא מניפולציה שקטה וזעירה במקורות המידע הגלויים שמהם מודלי שפה ומערכות AI שואבים את הידע שלהם. התוקף לא צריך לחדור דרך מערכות הגנת סייבר. מספיק שהוא מזין את הרשת הפתוחה, למשל ויקיפדיה, מאמרים אקדמיים, דוחות ממשלתיים, מאגרי קוד פתוח, במידע מעוות בכוונה, בכמויות קטנות ובמיקומים אסטרטגיים. כשהמודל הבא יתאמן על הקורפוס הזה, הוא יפנים את העיוות כעובדה. התוצאה: מערכות AI שמסיקות מסקנות מעוותות מבלי שהותקפו ישירות, מבלי שמישהו פרץ אליהן, מבלי שאזעקה אחת תפעל.

בינה מלאכותית משפיעה כיום על המרחב הציבורי שבו מתעצבת דעת הקהל לקראת בחירות. צ'אטבוטים עונים לבוחרים על שאלות מדיניות. כלי סיכום מבוססי AI מזינים עיתונאים. קמפיינים משתמשים במודלי שפה לכתיבת מסרים, למיקרו-טרגוט, לזיהוי נושאים שמטרידים ציבורים ספציפיים. האמינות של כל אלה תלויה בשלמות ובתקינות הנתונים שמתוכם המערכות לומדות, מאחזרות מידע ומייצרות פלטים.

נקודת העיוורון: אנשי הגנת הסייבר עדיין מחפשים את התוקף ברשת, לא במרחב הידע

הרעלת נתונים היא מניפולציה מכוונת של מערכי נתונים לאימון, מודלים שאומנו מראש או מאגרי ידע תשתיתיים. זוהי אחת מנקודות התורפה המשמעותיות ביותר בעידן הבינה המלאכותית. כוחה בכך שהיא מתמקדת במעלה הזרם. בניגוד למבצעי השפעה התלויים בכך שהמשתמשים יצרכו את התוכן שהגוף המשפיע יצר, הרעלת נתונים תוקפת את התשתית הקוגניטיבית עצמה. כשמודל שפה מצטט "עובדה" שמקורה בדף ויקיפדיה שהורעל לפני שנתיים, אין דרך טכנית פשוטה לאתר את המקור הבעייתי. הידע כבר נטמע במשקולות המודל.

זהו וקטור תקיפה שעוקף את כל שכבות ההגנה המקובלות. פיירוול, זיהוי חדירה, בקרות גישה. כל השכבות האלה לא רלוונטיות כי התקיפה פועלת במרחב הציבורי, בגלוי, ומהלכה יושלם כחלק מתהליך איסוף הנתונים הלגיטימי.

מודל ההגנה המקובל עדיין מחפש את התוקף בתוך הרשת, לא במרחב הידע הציבורי. ארגוני ביטחון וגופי בחירות משקיעים מיליארדים בהגנה על מערכות סגורות, אבל המודלים שמנתחים מודיעין, שמתכננים מבצעים, שמנהלים לוגיסטיקה או סתם צ'אטבוטים שאיתם מתייעצים בוחרים או שמסכמים חדשות לעיתונאים, כולם נשענים על אותם מאגרים פתוחים שכל מדינה יריבה או שחקן זדוני יכולה להזין במידע כוזב לאורך זמן.

כשמדינה רוצה להשפיע על תהליך קבלת החלטות של מדינות אחרות, בין אם זה מקבלי החלטות ובין אם זה בוחרים בקלפי, היא כבר לא חייבת לפרוץ לרשתות התקשורת והמידע של הצבא או למערכות המידע של וועדת הבחירות. מספיק שהיא תדאג שהמודל שמייעץ להם, הצ'אטבוט שעונה להם, יחזיק בהנחות יסוד שגויות. למשל על יכולות צבאיות, על כוונות פוליטיות, על חוזקה של כלכלה או על עמדות של מועמדים. העיוות מגיע בסופו של דבר עד לתיבת הצ'אט, ואיש לא שם לב שהמקור עליו המודל נסמך היה דף ויקיפדיה שנערך לפני שלוש שנים על ידי סוכן מודיעין זר.

בעולם שבו תוכן נע במהירות הקליק, ותיקון הזיופים נע במהירות של בירוקרטיה, ההכחשה לעולם אינה מדביקה את השקר, פשוט מפני שהיא מגיעה מאוחר מדי ואל קהל קטן יותר. ועוד יותר מכך, בקבוצות סגורות בוואטסאפ שאליהן מועבר תוכן מזויף, אין בכלל מי שיאמת או יפרסם הכחשה, כך שהתוכן ממשיך לחיות שם הרבה אחרי שהרשת הפתוחה כבר שכחה ממנו. עד עכשיו התוכן הזה היה כותרות פייק. עכשיו הוא גם יכול להיות צילומי מסך משיחות עם הצ'אט.

מהגנת סייבר להגנת ידע: שדה הקרב החדש של הדמוקרטיה

כדי להתמודד עם התופעה החדשה קיים צורך לאומי דחוף לעבור מתפיסה של מניעה מוחלטת לפיתוח חוסן והגנה רב-שכבתית. מניעה מוחלטת בלתי אפשרית כשמדובר במרחב הידע הפתוח. אי אפשר לנעול את ויקיפדיה, אי אפשר לפקח על כל מאמר אקדמי, אי אפשר לעצור את זרימת המידע הגלוי. הניסיון למנוע הרעלה לחלוטין נדון לכישלון, ובזמן שמנסים למנוע, האויב כבר בונה את התשתית הקוגניטיבית למתקפה עתידית.

הגישה החלופית המומלצת היא חוסן רב-שכבתי. זה אומר אימות צולב של מקורות ידע קריטיים לפני אימון מודלים, ניטור שיטתי של שינויים במאגרים שמזינים מערכות רלוונטיות לבחירות (מאגרי עובדות, אינדקסי חדשות, בסיסי ידע של צ'אטבוטים ציבוריים), פיתוח יכולת "לנוע אחורה בזמן" על מנת לזהות מתי והיכן הוחדר מידע כוזב למודל שכבר פועל, ובניית מודלים ייעודיים לתהליכים דמוקרטיים שאינם נשענים על קורפוס פתוח בלבד אלא על מאגרים מבוקרים ומאומתים. זו ארכיטקטורה אחרת לגמרי של בינה מלאכותית לשירות הדמוקרטיה, והיא דורשת השקעה לאומית מתואמת, לא רק טכנולוגית אלא גם ארגונית ומשפטית.

לישראל יש יתרון טכנולוגי מוכח בעולם, אבל במקרה של הרעלת נתונים הפתיחות הם גם חיסרון. הקהילה המדעית והביטחונית הישראלית מנהלת יחסי גומלין עם מודלים מבוססי מאגרי מידע גלובליים שכולם חשופים להרעלה. הקמה של תשתית לאומית לאימות וטיהור נתוני אימון למערכות היא קריטית, ובכלל זה מערכות שמשרתות תהליכים דמוקרטיים. זה יישמע אולי מפחיד, אבל ייתכן שנדרשת מעין "רשות לניטור ידע" שתפקידה לוודא שלפחות בשפה העברית, היסודות הקוגניטיביים של מערכות AI המשפיעות על בחירות נקיים ממניפולציה זרה. זהו מהלך שמחייב שיתוף פעולה בין מערכת הביטחון, האקדמיה, התעשייה, וגופי הבחירות. הוא צריך להתחיל עכשיו, לא אחרי המתקפה הראשונה שתיחשף.

הפער התפיסתי כיום עדיין עמוק: אנחנו עדיין חושבים במונחים של "הגנת סייבר" כאשר האיום החדש שנוסף שמחייב "הגנת ידע". ההבדל מהותי. הגנת סייבר שואלת "איך מונעים כניסה לא מורשית". הגנת ידע שואלת "איך מוודאים שהידע שעליו המערכת נשענת אמין". אלו שאלות שדורשות כלים אחרים, תקציבים אחרים, ובעיקר תפיסת ביטחון אחרת.

לכל מי שמאמין עדיין בדמוקרטיה אמיתית שבה יש בחירות תחרותיות וחופשיות באמת, המסר ברור. אל תשאלו רק אם המערכת מוגנת מפני פריצה. שאלו מאיזה ידע היא ניזונה, מי יכול להזין אותה, ואיך תדעו אם הידע הורעל. התשובה לשאלות האלה תקבע אם הבינה המלאכותית תהיה מכפיל כוח עבור מדינת ישראל, או נקודת התורפה שאויבי הדמוקרטיה הישראלית ינצלו כדי להחליש אותה. בסופו של דבר, הקול שנכנס לקלפי צריך להיות הקול של האזרח, אחרי שחשב, ולא הד של לחישה שמישהו תכנת עבורו הרבה לפני כן, דרך ויקיפדיה מורעלת וצ'אטבוט שמצטט עובדות בדויות. ההגנה האמיתית מתחילה בהבנה שהידע עצמו הוא שדה הקרב החדש.