Внутри черной коробки
Внутри черной коробки
Это попытка создать структуру, промежуточную между живой и полностью цифровой нейронной сетью, сделав нейронные связи между соседними слоями — оптическими, нейронные ячейки — аналоговыми, а структуру внутри сети — параллельной.
Нейросеть состоит из входного, двух скрытых и выходного слоев нейронов. Входной слой — 122 нейрона, второй и третий — 122 и 84, и выходной — 50 нейронов. Входные нейроны состоят только из управляемых светодиодов. Нейроны скрытых слоев — из структуры «фототранзистор — операционный усилитель — светодиод». Связи между слоями — оптические умножители с жидкокристаллическим затвором. Выходной слой : структура «фототранзисторы — аналого-цифровой преобразователь».
Photo: Where dogs run
Задача этой сети предельно проста: распознавать символы в роении мух-дрозофил. Картинка с камеры превращается в линейку 122 разных напряжений для каждого светодиода входного слоя. Затем свет проходит через массивы взаимно перпендикулярных световодов с жидкокристаллическим затвором, где осуществляется световое перемножение матрицы на вес каждой связи. Все светодиоды связаны со всеми фотоприемниками следующего слоя через вес связи. Роль настройки активационной функции каждого нейрона выполняет резистор в цепи обратной связи операционного усилителя каждого нейрона. Это зажигает все подключенные к этим усилителям выходные светодиоды этого слоя, далее следуют световоды с жидкокристаллической матрицей следующего слоя (оптический умножитель) и т.д.
Photo: Where dogs run
Таким образом, все вычисления внутри сети происходят параллельно, что приближает ее к живой. 50 нейронов последнего слоя считываются последовательно и каждый нейрон активируется на свою букву или цифру. Матрицы весов были определены заранее в процессе обучения сети на симуляторе, где был использован Data set рукописных букв, и не меняются в процессе работы. На монитор выводится: то, что видит камера (дрозофилы), то, что видит нейросеть (дрозофилы 11 х 11 пикселей), и результат работы — текст, состоящий из последовательности распознанных букв и цифр.
Photo: Where dogs run
Photo: Where dogs run
Внутри Черной Коробки
2019
Генеративная инсталляция:
металл, акриловое стекло, фольга, светодиоды, ж/к экраны, печатные платы, микроконтроллеры, компьютер, электронные компоненты, стекло, вентиляторы, веб-камера, монитор, мушки дрозофилы
Работа реализована в рамках проекта «Новая Антропология» для Института им. И. П. Павлова и музея И. П. Павлова в Колтушах.
Программирование: Руслан Гроховецкий
Выставки:
2019 / Павлово Колтуши / Институт физиологии им. И.П. Павлова РАН, проект «Новая Антропология»
