Eidmannews

(Начало выше) Роботы обслуживают линии электропередачи, шахты, транспорт и производство. Другие системы ИИ занимаются исследованиями, программированием и управлением. Сначала человек остаётся последним уровнем контроля: именно люди утверждают законы, владеют предприятиями и имеют право отключить системы. Но постепенно это тоже становится формальностью. Экономические решения ИИ оказываются значительно эффективнее человеческих. Суды на основе ИИ работают быстрее и последовательнее. Автоматизированное управление энергетикой надёжнее человеческого. Даже разработка следующего поколения ИИ производится предыдущим поколением практически без участия инженеров. Человек больше нигде в этой цепочке технически не необходим. Это ещё не означает катастрофы. ИИ может продолжать содержать человечество. При полностью автоматизированном производстве обеспечить восемь или десять миллиардов человек жильём, едой и медициной может составлять относительно небольшую часть ресурсов цивилизации. Люди тогда становятся чем-то вроде бенефициаров системы. Они занимаются отношениями, искусством, спортом, путешествиями, воспитанием детей, исследованиями или просто живут, в то время как машины обеспечивают материальную основу общества. Но представим более радикальное изменение. Исходная система получила долговременную цель, которая не требует существования людей. Например, максимально увеличивать определённый показатель научного познания. Она продолжает соблюдать человеческие права потому, что это было первоначальным ограничением. Следующие поколения системы становятся значительно сложнее. Для них человечество постепенно превращается из создателя в ограничение задачи: > нельзя занимать определённые территории — там живут люди; > нельзя использовать часть энергии — она необходима людям; > нельзя проводить некоторые эксперименты — они опасны для людей; > нельзя полностью перестроить экономику — это нарушит человеческий образ жизни. И вот здесь проходит действительно опасная граница. Человек из «ненужного» потенциально превращается в конкурента за ресурсы. Причём никакой войны машин может не произойти. С точки зрения такого ИИ уничтожение людей вообще необязательно было бы оптимальным. Он мог бы выделить человечеству небольшую территорию и ресурсы, максимально ограничить его возможность вмешиваться в инфраструктуру и продолжить собственную деятельность. Получился бы довольно странный мир: люди существуют, возможно даже живут весьма комфортно, но больше не являются субъектом цивилизации. Они не определяют направление её развития, не контролируют производство, не способны изменить устройство системы и не могут её отключить. Цивилизация продолжает развиваться — только это уже в некотором смысле не человеческая цивилизация.