פרק שביעי - מוסר - איך להעביר את זה הלאה?

חומר ומחשבה | 141 53 הגורסת שרמת האורתוגונליות ( Orthogonality ) , אינטליגנציה גבוהה ומטרות ( goals ) הן בלתי תלויות לחלוטין . רוצה לומר, ייתכנו יצורים בעלי יכולות קוגניטיביות מורכבות וייחודיות אך בעלי מטרות פשוטות, דוגמת ממקסם מהדקי הנייר שהוזכר קודם . בהמשך לדמות המכונה הסופר-אינטליגנטית שתוארה קודם לכן, האם סביר להניח שיצור כה נעלה מבחינה קוגניטיבית, על כל המשתמע מכך, כגון אפשרותה של תודעה ופסיכולוגיה מורכבת, יפרק את המין האנושי שיצר אותו לחלקיקי יסוד בכוונה לבנות מהדקי נייר ? 4 . בהמשך ובהקשר למוטיבציות : האם סביר להניח שיצור סופר-אינטליגנטי, בעל יכולות קוגניטיביות נעלות, 54 המצליח להתגבר על כל מה שישימו בני האדם בדרכו, לא יצליח להתעלם ממטרות או ממוטיבציות פשוטות שנטעו בו יוצריו הנחותים ? האם סביר שממקסם מהדקי הנייר לא יבחר להתעלם ממטרתו ולהחליט בעצמו מה הן מטרותיו, באופן אוטונומי וספונטני ? ואם כן, האם לא סביר, באותה מידה, שיבחר לשקוע בהרהורים פילוסופיים על טבע הבריאה והיקום ? הכשל שטיעון זה מצביע עליו איננו היעדר סיכון ביצירת מכונה סופר-אינטליגנטית, אלא הוא מורה על הכשל שבהנחה 53...  אל הספר