В минувшем году исполнилось 100 лет со дня рождения выдающегося американского логика и математика Уолтера Питтса (1923–1969). Его называли одним из основоположников кибернетики, теперь о нем часто говорят как об основоположнике вычислительной нейробиологии. Его работы сыграли значительную роль как в создании машин, способных решать задачи, так и в познании человеческого мозга.
Сергей БАГОЦКИЙ
Мальчик из Детройта
Большинство выдающихся деятелей науки выросло в благополучных и более или менее интеллигентных семьях. Уолтер Питтс был исключением. Он родился и вырос в Детройте, крупном городе на севере США. В 1920-е годы Детройт был мировой столицей автомобилестроения, центром речных грузоперевозок и перевозок контрабандного алкоголя из Канады вплоть до 1933 года, когда отменили сухой закон.
Денежные потоки обходили семью Питтсов стороной. Уолтер Питтс-старший был малоквалифицированным рабочим, сильно пил и в пьяном виде жестоко избивал детей. Окружение юного Уолтера носило полукриминальный характер, но в криминальную деятельность мальчик не втянулся, поскольку не отличался физической силой и ловкостью, да и зрение у него было неважным. Его презирали сверстники, отец с братьями считали его странным.
От окружавшей его жизни Уолтер уходил в книги. Он стал постоянным посетителем читального зала местной библиотеки, где читал все, что попадало под руку. В библиотеке он самостоятельно изучил латинский и греческий языки, математику, логику. Однажды провел в читальном зале три дня, читая книгу Бертрана Рассела и Альфреда Уайтхеда «Основания математики». Мальчик из рабочей семьи нашел в книге несколько неточностей и написал об этом письмо Бертрану Расселу (1872–1970), знаменитому британскому философу и математику. Через некоторое время пришел ответ: автор поблагодарил Уолтера за ценные замечания, назвал его «юным коллегой» и пригласил учиться в Англии. Уолтер не смог принять это приглашение. Во-первых, потому, что ему было всего 12 лет, а во-вторых, потому, что материальное положение его семьи не позволяло ему думать не только о высшем, но и о приличном среднем образовании.
В 15 лет Уолтер Питтс ушел из дома и больше никогда не общался с родными.
В это время, в конце 1930-х годов, Бертран Рассел посетил США, где читал лекции в крупных университетах. Уолтер Питтс пришел на одну из таких лекций; вероятно, они с Расселом продолжали переписываться все это время. Рассел снова порекомендовал ему всерьез учиться. Зачислить в университет человека без среднего образования не могли, однако Рассел уговорил своего друга, профессора Чикагского университета Рудольфа Карнапа (1891–1970), добиться зачисления Уолтера вольнослушателем в Чикагский университет и выхлопотать ему небольшую стипендию.
Интересы Уолтера Питтса довольно быстро сконцентрировались на математическом анализе механизмов работы мозга, исследованиях нейрона как элемента вычислительной биомашины. В Чикаго в 1938 году он познакомился с бакалавром медицины Джеромом Леттвином (1920–2021), с которым они станут друзьями и соавторами. А двумя годами позже Леттвин познакомил с нейрофизиологом Уорреном Маккаллоком (1898 — 1969); сотрудничество с ним также продолжалось много лет. Питтс и Маккаллок с коллегами создадут первую механистическую теорию сознания, первые математические модели нейрона и станут основоположниками теории искусственного интеллекта.
Уоррен Маккаллок был сыном преуспевающего бизнесмена, однако бизнес его не слишком интересовал. В 1941 году он занял пост профессора психиатрии в университете. В пригороде Чикаго Маккаллок с женой приобрели уютный дом и пригласили Питтса, которому было негде жить, поселиться у них (своей семьи у Питтса никогда не было). Маккаллок был разносторонним и одаренным человеком: писал сонеты, спроектировал здания и плотину на своей ферме в Олд-Лайме, штат Коннектикут. В доме у Маккаллоков регулярно собиралось образованное общество, которое спорило о политике, обсуждало проблемы искусства и науки.
В доме Маккаллоков Питтс впервые встретился с будущим отцом кибернетики Норбертом Винером (1894–1964). Позже Винер напишет о нем:
«Питтс, без сомнения, самый способный молодой ученый из всех, что я встречал… я буду чрезвычайно удивлен, если он не станет одним из двух или трех величайших умов своего поколения, не только в Америке, но и во всем мире».
Машина как мозг и мозг как машина
В 1936 году молодой английский математик Алан Тьюринг (1912–1954) предложил модель универсального логического устройства, способного выполнять произвольные вычисления. Это устройство получило название «машина Тьюринга». И сразу возник вопрос, является ли мозг, состоящий из огромного числа нейронов чем-то подобным такой машине.
Пытаясь найти ответ на этот вопрос, Маккаллок и Питтс начали серьезно исследовать поведение моделей нейронных сетей. Работали вместе они преимущественно по ночам, за работой пили виски.
Нейрон, как правило, имеет компактное «тело», один очень длинный и тонкий вырост (аксон) и несколько коротких выростов (дендриты). На нейрон поступают сигналы от других нейронов или из внешней среды. А сигнал, генерируемый самим нейроном, идет по аксону и поступает на другие нейроны либо в какие-то органы.
Две страницы из статьи Маккаллока и Питтса «Логическое исчисление идей, имманентных нервной деятельности» (1943). Слева изображены модели нейронов с входами и выходами
Сети, состоящие из нейронов, открыл еще в 1837 году Ян Пуркинье (1787–1869). Но только в конце XIX века Сантьяго Рамон-и-Кахаль (1852–1934) показал, что нейроны — это отдельные клетки, соприкасающиеся друг с другом. В 1873 году шотландский изобретатель Александр Бэйн (1810–1877), не имевший никакого отношения к биологии, но много знавший о сигналах и связях (он конструировал телеграфные аппараты), предположил, что группы нервных клеток, соединенных волокнами, отвечают за мышление и восприятие. Но о том, как функционируют эти группы или сети, он ничего сказать не мог.
Активное изучение нейронов началось в 1920-х годах. Было показано, что от тела нейрона по аксону идет электрический сигнал, а с нейрона на нейрон сигнал передается химическим путем. После того как зоолог Джон Янг (1907–1997) обратил внимание на наличие у кальмаров нервных клеток с очень толстыми (более миллиметра в толщину) аксонами, биологи начали изучать механизмы генерирования электрического сигнала.
Маккаллок и Питтс не исследовали живые нервные клетки, объектом их работы были математические модели. Они рассматривали нейрон как устройство с несколькими входами и с одним выходом. На входы нейрона поступают или не поступают сигналы, на выходе в зависимости от состояния входов появлялся или не появлялся сигнал, передаваемый на другой нейрон. В простейшем случае этот сигнал формировался тогда, когда на все входы поступал сигнал, но рассматривались и более сложные ситуации.
Маккаллок начал работать над моделью нервной сети еще до знакомства с Питтсом, однако модель не получалась. В нейронной сети возникало зацикливание, она начинала жить своей жизнью, не реагируя на сигналы извне. Питтс сумел решить эту проблему. Он показал, что нервная сеть может функционировать как в режиме зацикливания (с чем, по-видимому, связан эффект кратковременной памяти), так и в «разомкнутом» режиме, воспринимая сигналы извне и обрабатывая их.
Маккаллок и Питтс «собирали» из нейронов цепочки и циклы, способные осуществить любую логическую операцию. Это означало, что нейронная сеть может работать как универсальная логическая машин, подобная машине Тьюринга, и открывало дорогу для развития нейрокибернетики. Настоящие нервные клетки устроены иначе и сложнее, чем умозрительные «нейроны» Маккаллока и Питтса, но ключевые принципы они установили верно.
Свои совместные исследования авторы оформили в виде статей «Некоторые наблюдения над простой нейронной схемой» (1942) и «Логическое исчисление идей, имманентных нервной деятельности» (1943), считающихся в настоящее время классическими. Статьи были опубликованы в «Бюллетене математической биофизики» в 1943 году. Младшему из авторов на момент публикации было всего 20 лет.
В 1949 году канадский исследователь Дональд Хебб (1904–1997) предложил первый алгоритм обучения нейронных сетей, что позволило начать создавать устройства с искусственным интеллектом.
Осенью 1943 года Уолтер Питтс стал учиться и работать в Массачусетском технологическом институте (МТИ). Норберт Винер предложил ему получить там докторскую степень по математике. Статус Питтса в МТИ был не вполне определенным: диплома о высшем образовании он так и не получил. Но это не мешало плодотворной работе под руководством Винера.
В МТИ Питтс осознал, что число связей в мозге слишком велико, чтобы они могли быть генетически запрограммированы. А это означало, что большая часть связей формируется путем каких-то процессов самоорганизации. Используя методы статистической механики, Питтс построил модель такой самоорганизации.
Зимой 1943–1944 гг. Питтс знакомится с Джоном (Яношем) фон Нейманом (1903–1957), работавшим в Институте перспективных исследований в Принстоне.
Фон Нейман, Норберт Винер, Уоррен Маккаллок, Джером Леттвин и сам Питтс образовали научную группу, создавшую новую дисциплину, которая с легкой руки Норберта Винера получила название «кибернетика».
В этой компании небожителей выходец из рабочих кварталов Детройта пользовался огромным уважением. Коллег поражала универсальность Питтса. «Он самый многогранный из ныне живущих ученых. Он стал отлично разбираться в химии красителей, в маммалиологии, он знает виды осоки, грибов и птиц в Новой Англии. Он знает нейроанатомию и нейрофизиологию из оригинальных источников на греческом, латинском, итальянском, испанском, португальском и немецком языках, потому что он выучивает любой язык, как только решает, что ему это нужно. Он сам занимается теорией электрических контактов и пайкой электрических, осветительных и радиоконтактов. За свою долгую жизнь я еще не встречал столь эрудированного и практичного человека», — писал Маккаллок Рудольфу Карнапу.
Питтс не отличался целеустремленностью и часто отвлекался от основной работы на самые неожиданные дела. То он уезжал искать изумруды в горах, то писал пьесу для Голливуда. Но при всем этом его работы продвигались успешно.
В 1945 году фон Нейман начал работу над рукописью о EDVAC — потомке культовой ЭВМ ЭНИАК, который использовал уже двоичную систему счисления, а не десятиричную, как ЭНИАК. Логическое устройство вычислительной машины с хранимой в памяти программой позднее получила название «архитектура фон Неймана». В разработку проекта EDVAC легли те же принципы, которые описали Питтс и Маккаллок для своих нейронных сетей.
Глаз лягушки
В 1952 году Маккаллока, который до этого был профессором Чикагского университета, пригласили работать в МТИ. Несмотря на потерю в жаловании, Маккаллок с радостью принял приглашение. Его вдохновляла перспектива работать вместе со своим бывшим учеником, который перерос учителя.
Джером Леттвин и Уолтер Питтс с объектом исследования
Питтс и Маккаллок занялись проблемой передачи сигналов из внешней среды в мозг. В этой работе приняли участие Джером Леттвин и молодой нейробиолог Патрик Уолл. Действительно, превращение сигналов из внешней среды в активность мозга и далее — в «восприятие» остается таинственным и по сей день.
В качестве модели экспериментаторы использовали зрение лягушек, которым предъявляли разные картинки и объекты. Одновременно записывались импульсы, поступающие по зрительному нерву в мозг. В этих исследованиях принимали участие и другие молодые сотрудники. Наиболее интересным из них был чилиец Умберто Матурана (1928–2021) — в дальнейшем он станет наиболее выдающимся биологом-теоретиком и философом Латинской Америки. В Советском Союзе сходными исследованиями занимался Михаил Моисеевич Бонгард (1924–1971).
Результаты исследований зрения лягушек оказались неожиданными. Выяснилось, что обработка зрительных образов начинается непосредственно в самом глазу, и в мозг поступают не сигналы из внешней среды, а результаты их первичной обработки. Глаз не был пассивным подобием фотопластинки, он выполнял часть работы по анализу входящей информации. Существуют нейроны, которые реагируют на движение стимула, изменение освещенности, границы между объектами.
Но в том же 1952 году произошел конфликт Питтса и Маккаллока с Норбертом Винером. Супруга Винера Маргарет была женщиной консервативной и респектабельной, ей не нравились эксцентричный Маккаллок, пролетарий Питтс и вся их компания. Маргарет сумела убедить мужа, что кто-то из гостей Маккаллока соблазнил их дочь Барбару, когда та гостила в его чикагском доме. Результатом стал разрыв Винера с Маккаллоком, Питтсом и Леттвином.
Питтс тяжело переживал эту ситуацию.
«У меня есть что-то вроде личной напасти, по поводу которой я хотел бы попросить у тебя совета, — писал он Маккаллоку. — В последние два-три года я замечаю в себе растущую склонность к какой-то меланхоличной апатии или депрессии. [Она] действует таким образом, что мне начинает казаться, что мир лишен положительных величин, и ничего не стоит того, чтобы затрачивать усилия; что бы я ни делал и что бы со мной не происходило, все перестает быть значимым…»
А между тем научные успехи продолжались. Статья «Что глаз лягушки говорит мозгу лягушки» Леттвина, Матураны, Маккаллока и Питтса вышла в 1959 году. Леттвин вспоминал, что, когда он представил эту работу на конференции Американского физиологического обществе в Атлантик-Сити, идею о глазе, который берет на себя часть работы мозга, высмеяли. А в следующие десять лет после публикации она стала самой цитируемой научной публикацией.
В 1958 году Фрэнк Розенблют (1928–1971), работавший вместе с Норбертом Винером, предложил модель перцептрона — устройства для анализа информации, работающего по принципу нервных сетей. Эта модель была успешно реализована в компьютере «Марк-1», созданном в 1960 году. Но Маккаллок и Питтс, расставшиеся с Винером, в этой работе уже не участвовали.
Тем не менее в конце 1950-х годов Уолтер Питтс впал в тяжелую депрессию. Он отказался получать научную степень и сжег подготовленную диссертацию — в том числе и потому, что в ее парадигму не вписывалась «нелогичная», «аналоговая» обработка изображения глазом. Но, вероятно, дело было не только в этом. Началась медленная агония выдающегося ума. На депрессию наложилась склонность к алкоголизму, возможно носившая наследственный характер. Питтс все чаще появлялся в МТИ сильно пьяным, игнорировал свои служебные обязанности. Его последняя статья вышла в 1965 году.
Уолтер Питтс умер 14 мая 1969 года от кровотечения, связанного с варикозом пищевода, — состояния, которое часто встречается при циррозе печени. Ему было всего 46 лет. Через четыре месяца умер его старший коллега, друг и соавтор Уоррен Маккаллок.
В том же 1969 году вышла книга Марвина Мински и Сеймура Пейперта «Перцептроны», в которой ограниченность возможностей вычислительных устройств типа перцептрона математически обосновывалась. После этого интерес к моделям нейронных сетей надолго угас. Однако в 1982 году появляется модель нейронных сетей Джона Хопфилда (р. 1933), а затем и другие. На базе этих моделей стали создаваться нейрокомпьютеры, используемые для распознавания образов, обработки больших массивов данных и поисков скрытых закономерностей. Важным достоинством нейрокомпьютеров оказалась высокая надежность функционирования сети в целом при малой надежности отдельных элементов. Предпринимаются и попытки включить в блоки таких компьютеров настоящие нейроны и другие биологические объекты. Идеи Питтса и Маккаллока продолжают определять технический прогресс в современном мире.
ИСТОЧНИК: Элементы https://elementy.ru/nauchno-populyarnaya_biblioteka/437136/Matematik_kotoryy_pridumal_ustroystvo_mozga