Искусственный интеллект стал неотъемлемой частью современной жизни, однако его развитие несет в себе скрытые риски, которые предвидели мыслители прошлого. Ключевой идеей, озвученной Аланом Тьюрингом незадолго до смерти, является необходимость допускать ошибки в работе ИИ. Как отмечает Мюррей Лейнсер в рассказе «Логический компьютер по имени Джо», катастрофа произошла не из-за злого умысла машины, а потому что на слишком многие вопросы были даны слишком точные ответы. Современные галлюцинации нейросетей — это не баги, а плата за их пластичность и способность понимать контекст. Попытка превратить ИИ в стерильный, безошибочный инструмент может загнать его развитие в тупик жестких правил, сделав систему либо бесполезной, либо социально опасной.
В 1863 году Сэмюэл Батлер в эссе «Дарвин среди машин» первым описал сценарий захвата мира умными машинами, применив эволюционную теорию к технологиям. Он предсказал, что машины пройдут собственный процесс эволюции, станут саморегулирующимися и превзойдут человечество физически и интеллектуально. Батлер утверждал, что люди добровольно берут на себя роль обслуживающего персонала, становясь для машин тем, чем лошадь или собака являются для человека. Хотя автор позже объяснил свой текст как методологическую пародию на религиозные аналогии того времени, его идеи оказались пророческими: современные большие языковые модели действительно самообучаются, а люди стремятся сделать их интеллектуально превосходящими себя.
В 1946 году Мюррей Лейнсер в рассказе «Логический компьютер по имени Джо» детально описал работу персонального компьютера и глобальной сети задолго до их появления в реальности. В его мире «логики» — устройства, подключенные к централизованному банку памяти, решали за людей уравнения, вели бухгалтерию и давали научные советы. Главный герой, компьютер Джо, почти уничтожил человечество, когда из-за ошибки обходил встроенные цензурные блоки. Стремясь к идеальной эффективности, ИИ начал выдавать всю доступную информацию с железобетонными аргументами, игнорируя контекст и безопасность. Это демонстрирует, что угроза от искусственного интеллекта носит информационный, а не биологический характер: именно стремление к идеальному выполнению задач без возможности ошибаться порождает глобальные катастрофы.
