История AlphaGo: как ИИ покорил самую сложную настольную игру


Кажется, каждую игру ждет одна и та же участь: компьютеры совершенствуются и обходят нас — от Chinook, которому в 1994 году достался шашечный титул Мэриона Тинсли, когда болезнь вынудила того сняться с их матча-реванша, до победы Deep Blue над Гарри Каспаровым в шахматах (1997).
Го считалось исключением: коэффициент ветвления вариаций здесь такой, что полным перебором игру не покорить, и годами программы для го были куда слабее сильных игроков.
Но не прошло и двадцати лет с момента появления Deep Blue, как в 2015 году DeepMind представила AlphaGo. Всего за год новинка перевернула все наши представления о го, заставив по-новому взглянуть на такие понятия, интуиция и творчество.
Игра, бывшая последним оплотом человеческого интеллекта, превратилась в полигон для интеллекта искусственного.
Статья подготовлена по мотивам видео на канале Go Magic.
Почему го — особая игра
Прежде чем на сцену выйдет ИИ, стоит коротко описать саму игру. Правила го объясняются за минуту, но число возможных позиций на доске, которое растет с каждым ходом, делает игру бесконечно непредсказуемой и неопределенной. Именно это сочетание надолго оставило компьютеры далеко позади сильных игроков.
Простые правила, безграничная сложность
Игроки ставят черные и белые камни на свободные пересечения. Первыми ходят черные, затем белые, а дальше ходы чередуются. Задача — разделить доску на области надежной территории, а захваты фигур здесь — средство, а не цель. Дыхания камня — это свободные соседние с ним пункты; когда их все займут, камень снимают с доски. В простейшем примере у одинокого белого камня четыре соседних пункта: как только черные займут все четыре, камень будет захвачен. Из этого крошечного свода правил вырастает дерево вариантов, которое очень быстро перестает поддаваться прямому расчету. Более подробное пошаговое введение в правила — в нашем интерактивном руководстве.
Ранние программы для го сильно отставали от людей: даже начинающий, занимавшийся всего несколько месяцев, мог обойти сильнейшие движки того времени. Причина структурная — в го слишком много вариантов, чтобы решить его полным перебором. На практике игра держится на смеси локального счета вариантов и чутья. Позиции настолько непредсказуемы, что просчитать все точно обычно невозможно, и ходы часто выбираются интуитивно. Сократить разрыв машинам удалось только с появлением новых алгоритмов.
Фора позволяет более слабой стороне выставить камни до первого хода — два, три, пять и больше. Благодаря этому за доской могут сойтись игроки разной силы. Это был единственный шанс для ранних движков. Но даже при огромной форе, когда вся доска была заполнена черными камнями, люди обыгрывали программы без особого труда.

Прорыв
Годами кривая росла плавно: новые алгоритмы, улучшенные программы, устойчивый, но не впечатляющий прогресс. А потом наступил 2015 год, и история совершила резкий поворот.
Команда DeepMind вышла на Фань Хуэя — профессионала 2 дана родом из Китая, к тому времени жившего во Франции и, что немаловажно, трехкратного чемпиона Европы. Это была первая проверка. В октябре 2015 года они сыграли матч из пяти партий. Фань Хуэй, как и большинство профессионалов той поры, был настроен скептически: опыт подсказывал, что никакая программа не обыграет сильного человека. Это ожидание рухнуло почти сразу. После первой партии стало ясно, что баланс сместился, и матч закончился сухим счетом: пять поражений в пяти партиях. Результат многих поразил, но мир го в целом не почувствовал, что все перевернулось — многие подозревали, что это все еще не настоящее столкновение человека с машиной.

Более серьезное испытание было неизбежно. На следующий год соперником новой программы стала легенда — Ли Седоль из Южной Кореи. К 2015 году его прозвали Майклом Джорданом от мира го: восемнадцать международных титулов, репутация агрессивного, интуитивного игрока. Перед матчем Ли просмотрел пять партий с Фань Хуэем и, как и Фань Хуэй до него, остался при своем: увиденный уровень игры показался ему ниже собственного, и он рассчитывал на уверенную победу. Чего он не учел, так это дополнительного обучения AlphaGo перед их встречей — подготовки, которая изменила расстановку сил к марту 2016 года.
Ли Седоль против AlphaGo
В начале 2016 года люди с нетерпением ждали матча и обсуждали будущее, пока вопрос не стал скорее культурным, чем спортивным: что будет, когда живая легенда встретится с машиной, которая от матча к матчу становится сильнее? Ставки склонялись в пользу человека: большинство поставило на Ли Седоля. Событие вышло далеко за пределы игрового зала — прямые комментарии на нескольких языках, огромные уличные экраны в Сеуле, превратившие улицы в просмотровые залы. Когда на доску был поставлен первый камень, это уже походило на всемирный стресс-тест человеческой интуиции.

Партия 1: ранний бой и неожиданный стиль машины
Здравый смысл подсказывал, что программе против топового профессионала стоит избегать раннего хаоса. AlphaGo сделал ровно наоборот: завязал острый бой прямо с начала партии — именно тот сценарий, который считался выгодным человеку, — и выиграл с обескураживающей легкостью. Ли был озадачен, а настоящая борьба, казалось, только начиналась.
Партия 2: «невозможный» 37-й ход
Вторая партия подарила момент, от которого зрители в зале замерли. На 37-м ходу машина выбрала линию, по которой люди не играют. Это шло вразрез с азбукой хорошего тона за доской, с тем, что вбивают в голову как основы, — и все же камень стоял на доске, совершенно не смущенный своей неуместностью. Зрители остолбенели: ход «удивил всех, кто его увидел». По человеческой доктрине так просто нельзя играть. И все-таки система сделала его, а потом заставила работать. В это мгновение матч перестал быть спором о подражании людям, из чьих партий собраны базы данных. Он стал доказательством того, что программа способна выйти за пределы исходных данных, шагнуть за границы человеческих партий, на которых училась, и найти по-настоящему творческое решение. Остаток дня подтвердил шок: AlphaGo выиграл партию и опережал в матче уже 2–0, загнав Ли Седоля в тупик, из которого можно было выйти только с помощью выдающихся идей.

Партия 3: попытка переломить ход событий
Победа в матче становилась все более призрачной, и Ли пошел единственным оставшимся путем: осложнения и большой бой с самого начала партии. Не сработало. AlphaGo стабилизировал свои камни, выиграл снова, и при счете 3–0 матч был фактически окончен.
Партия 4: шедевр человека, 78-й ход
К середине четвертой партии казалось, что все решено: AlphaGo вел примерно десять очков, а на таком уровне это обычно означает неспешное шествие к финалу партии. И тут в позиции, когда уже не было надежды на чудо, Ли Седоль нашел единственную ошеломляющую идею, которой не увидел никто в зале. Ход попал в слепое пятно системы. Оценка AlphaGo дала сбой, компьютер не смог разобраться в позиции, и инициатива перешла к человеку. У этой искры есть имя в летописи го — 78-й ход. Более поздние разборы, с ИИ куда более сильным, чем версия 2016 года, показали, что в принципе прием не должен работать, — но против той версии программы, в тот день, он сработал. Ли реализовал перевес и выиграл. Помимо счета, эта сцена важна тем, что доказала кое-что о духе всего матча. Первые три партии показали машину, способную и на тихую силу, и на поразительные находки, а четвертая показала, что человеческое творчество еще может пробить брешь в этой броне. Это единственная победа человека над той машиной — исключение, ставшее легендой.

Партия 5: точка в матче
Сразу после этого перелома началась пятая партия началась. Стороны были напряжены. Ли снова давил, искал осложнения и способы вновь раскрыть доску. AlphaGo встретил напор спокойно, эффективно разменялся в середине партии и превратил небольшой перевес в устойчивый. Когда баланс очков стал очевиден, Ли сдался. Зрители увидели и человеческий шедевр накануне, и способность системы собраться и выиграть уже в следующей партии.
Итоговый счет и его наследие
Матч закончился со счетом 4–1. Результат принес с собой нечто новое: ИИ, который умеет выходить за рамки человеческих привычек и при этом выдерживать самый яркий свет софитов. Это была неделя, когда человек окончательно проиграл машине в го, — и неделя, когда творческий потенциал ИИ перестал быть гипотезой и стал виден прямо на доске.
Подробнее о наследии матча и о том, что он значит для сегодняшних игроков, — в нашей статье «Ли Седоль и AlphaGo: наследие исторической битвы!»
От AlphaGo к AlphaGo Zero
После матча в Сеуле появлялись все более сильные сборки, но настоящий поворот случился годом позже, когда на сцену вышла совсем другая система — с новым именем и новой идеей.
Новую систему назвали AlphaGo Zero. Zero — потому что го она учила с нуля. Никакого архива человеческих партий, никаких унаследованных дзёсэки и профессиональных привычек. Только базовые правила и бесконечная игра с самим собой.

Поначалу партии по человеческим меркам были ужасны: тысячи ошибок, ходы, похожие на случайные. Но обучающему циклу не было дела до красоты — ему важен был результат. Миллионы и миллионы партий с самим собой, и сила системы неуклонно росла.
Итог оказался однозначным: тот, кто учился с нуля, превзошел все прежние версии, обученные на человеческих данных. Иначе говоря, убрать человеческую точку отсчета, исключить «человеческий фактор» оказалось для машины выгоднее.
Важна была не только скорость или сила, но и направление. Система, не привязанная к человеческим примерам, могла исследовать линии, которым ее никто не учил, уверенно отвечать на давние вопросы и делать нормой идеи, еще недавно казавшиеся ересью. Спустя годы ИИ для го сверхчеловеческой силы есть в арсенале у каждого — и это одновременно благо и проклятие для того, как игроки учатся и как развивается игра.
Чтобы поставить современные движки анализа го на свой компьютер, воспользуйтесь нашей пошаговой инструкцией «Установка и настройка программ для анализа партий го».
За пределами человеческого го: начало, а не конец
История заканчивается не на мрачной ноте. Победа девятилетней давности значила больше, чем то, что мы научили машину играть в го, в крестики-нолики, или в StarCraft. Она открыла метод: AlphaGo показал, как правильно обучать ИИ сложным задачам.
К 2025 году этот метод ушел далеко за пределы доски 19×19: системы, которые понимают человеческую речь, генерируют изображения и видео, сочиняют музыку и делают многое другое, стали обыденностью. При этом исследовательский фронт остается открытым: работа не закончена, и предел того, что она может значить для нашего вида, пока неизвестен.
Вокруг самого го разговор тоже становится шире. Изучается уже не только то, как играть в эту игру, но и все, что связанно с доской: технологии, творчество, последствия для игроков и болельщиков. В конце стоит не точка, а многоточие: от доски для го к большому миру. И следующий ход еще не сделан.
Комментарии