פרק חמישי - מכונות חכמות - שיפור בהמשכים

94 | ארז פירט מהווה סיכון, על המשפר לבצע ניסויים ובדיקות מקיפים בסביבת "ארגז חול" . האם יהיה בכך די על מנת לשמור על ביטחונו ? אני סבור שלא . לישות עדיפה יהיו מניעים להעמיד פנים . בעת ביצוע הניסויים ובזמן שהיא נמצאת בסביבת "ארגז החול", ישות עדיפה תבכר לשקף מטרות המתלכדות עם מטרות הישות הבוחנת . היא ככל הנראה תבין את הרקע, את מצבה בתוכו ואת העובדה שלטובתה עליה לשחק לפי כללים מסוימים, כל עוד היא כלואה . המשפטים האחרונים הכילו בתוכם מספר הנחות חבויות שחשוב להזכיר : הראשונה היא שלבמ"כ-הדור-הבא תהיה גישה למטרותיה הסופיות של במ"כ-דור-נוכחי . השנייה, שבמ"כ-הדור-הבא תוכל להבין, או אפילו סביר שתבין, שהיא נמצאת בתוך "ארגז חול", על כל המשתמע מכך . הראשונה סבירה, כאשר אנחנו מתייחסים לשיפור שנערך על העתק . במצב זה המטרה היא לבחון שיפורים שנעשו על בסיס העתק מדויק של במ"כ ולראות אם הם בטוחים ליישום . שינוי ההעתק כך שלא תהיה לו גישה לדבר בסיסי ומהותי כמטרות סופיות נראה מוגזם . דבר נוסף המתייחס לסבירותן של שתי ההנחות : בהיותה ישות עדיפה קוגניטיבית, יש להניח שבמ"כ-הדור-הבא תוכל להסיק נתונים רבים מתוך סבי...  אל הספר
ספרי ניב