 |
-
Хайдук
-
-
OFFLINE
-
Наместник
-
- Posts: 37369
- Thank you received: 85
-
Karma: 22
-
|
Зачем приспичили нейросети, а mittelspiel?
У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных
|
|
|
-
Vladimirovich
-
-
OFFLINE
-
Инквизитор
-
- Posts: 79512
- Thank you received: 1089
-
Karma: 82
-
|
mittelspiel написал(а): Автор применяет методы нейронных сетей (и основная фишка работы заключается в магическом повторении слов нейронные сети),
но не является ли эта работа по сути стандартным динамическим программированием? Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном
|
|
|
-
mittelspiel
-
-
OFFLINE
-
Посадник
-
- Posts: 3974
- Thank you received: 14
-
Karma: 1
-
|
Хайдук написал(а): У меня сложилось впечатление, что их нужно сперва тренировать, заточить под определенный выход и потом они ищут этот выход (с некоторым приближением) среди входных данных Это все слишком сложное, мозги затуминивает. На самом деле простейшее применение нейросети - это фиттинг обычное кривой на двухмерном графике. Поиск полиномиальных коэффициентов - это и есть поиск весов нейронов или обучение. Функция которая минимицируется в этом случае - это сумма квадратов отклонений найденного полинома от исходной кривой. Двухмерное пространство можно усложнить и превратить в многомерное - тогда задача из фиттинга кривой превратится в распознавание образов, но суть от этого не изменится. Это базовое понимание нейронных сетей которое у меня осталось после беглого просмотра учебника. Все остальное про обучение - это пыль в глаза неискушенным в математике специалистам. Такое мое понимание на данный момент.
|
|
|
-
mittelspiel
-
-
OFFLINE
-
Посадник
-
- Posts: 3974
- Thank you received: 14
-
Karma: 1
-
|
Vladimirovich написал(а): Ни динамическое программирование ни нейронные сети не суть что-то говорящее о работе.
Это не более конкретно, чем биология и геном Но про геном можно сказать, что это часть биологии.
Я пытаюсь понять, можно ли сказать про нейронные сети что это часть динамического программирования?
И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей.
|
|
|
-
PP
-
-
OFFLINE
-
Боярин
-
- Posts: 23301
- Thank you received: 137
-
Karma: 1
-
|
mittelspiel написал(а): И главное что я пока не понял - за счет чего достигается ускорение алгоритмов нейросетей Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку?
Что касается фитирования полинома (тут у меня уже с русским возникает проблемма ), то сделать это стандартным методом (SVD or QR decomposition) быстро и просто. Подозреваю, что сеть пытается заодно решить и задачу о том, какой степени полином стоит выбрать, чтобы избежать over-fitting. Бороться с этим позволяют стандартные статистические методы, но может нейросеть имеет свои преимущества для такой задачи. В любом случае, связи с динамическим программированием я тут не вижу. Попробую посмотреть конкретную статью, которую Вы привели. Может там связь имеется.
|
|
|
-
mittelspiel
-
-
OFFLINE
-
Посадник
-
- Posts: 3974
- Thank you received: 14
-
Karma: 1
-
|
PP написал(а): Я думаю, что в большинстве случаев ускорение основано на поиске приближенного, а не точного ответа. Также, после того, как сеть натренировалась она ответ выдаст быстро, но вот сколько времени уйдет на тренировку? Я так понимаю, что в этой статье речь идет о точном а не о приближенном решении.
Я так же подозреваю, что там не идет речь об обучении сети. Тут надо разделить две задачи. Одна задача - однократный проход сигнала по сети с заданными весами. Другая задача - обучение сети для поиска этих весов. Насколько я понял, в данном случае веса заданы исходно и тренировка не требуется. требуется только максимально быстро рассчитать значение сигнала после прохода по всей цепи. Меня интересуют именно такие задачи. Обучение пока не инетересует. Вот за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети).
|
|
|
-
Хайдук
-
-
OFFLINE
-
Наместник
-
- Posts: 37369
- Thank you received: 85
-
Karma: 22
-
|
mittelspiel написал(а): за счет чего ускоряется однократный проход сигнала по цепи? (если считать в лоб, то время возрастает экспоненциально с количеством узлов сети). A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее
|
|
|
-
mittelspiel
-
-
OFFLINE
-
Посадник
-
- Posts: 3974
- Thank you received: 14
-
Karma: 1
-
|
Хайдук написал(а): A ускоряется ли? Ускоряться может, если сеть реализована аппаратно, железом. Не думаю, что программные сети, реализованные кодом на обычном компе, существенно быстрее Предпологаете или уверены?
|
|
|
-
mittelspiel
-
-
OFFLINE
-
Посадник
-
- Posts: 3974
- Thank you received: 14
-
Karma: 1
-
|
Вот простенькие слайды, из которых я понял, что нейронные сети похоже действительно не ускоряют вычисления.
www.machinelearning.ru/wiki/images/c/c2/...euralNets-slides.pdf
Ускорение достигается за счет параллелизации вычислений, но если подзадачи (нейроны) перекрываются ( то есть не независимы) то распараллеливать не получится. Таким образом, основное различие динамического программирования и нейросетей в том, что ы певом случае подзадачи перекрываюися, а во втором случае не перекрываюися.
где-то так...
Отредактировано mittelspiel (2010-11-22 21:38:10)
|
|
|
-
Vladimirovich
-
-
OFFLINE
-
Инквизитор
-
- Posts: 79512
- Thank you received: 1089
-
Karma: 82
-
|
www.popmech.ru/technologies/news-480252-...mashinnoe-obuchenie/
Пара исследователей из Массачусетского технологического института открыла способ создания искусственного интеллекта размером всего лишь в одну десятую от текущих величин — и это без потери вычислительных способностей!
 Самая важная сеть в нейронной сети — это характер связи между нейронами. Процесс формирования таких связей называется «машинным обучением» и тоже напоминает то, как наш собственный мозг учится обрабатывать информацию. Единственная разница заключается в том, что наш мозг регулярно удаляет старые связи, но большинство нейронных сетей делают это лишь в самом конце обучения.
Поэтому исследователи из MIT решили попробовать кое-что новое: регулярно «обрезать» сеть прямо во время изучения. Они обнаружили, что этот метод в конечном итоге формирует нейтронные сети, которые так же хороши, как и стандартные — однако при этом они занимают на 90% меньше места и намного более эффективны. Кроме того, им нужно меньше времени на обучение, а результаты их работы более точны в сравнении с традиционными аналогами — все благодаря качественной связи всех нейронов друг с другом.
В ближайшем будущем ученые планируют развивать свою методику, чтобы получить поколение качественно более совершенных нейронных сетей. Эти мощные и легковесные программы можно будет интегрировать даже на пользовательские устройства и заставить работать даже на обычном смартфоне, что открывает широчайшие возможности во всех сферах компьютерных технологий — от разработки компьютерных игр до создания приложений с практически универсальным функционалом. 
|
|
|
|
|
|
