Сигмоида

Логистическая кривая (сигмоида)

Сигмо́ида — это гладкая монотонная нелинейная функция, имеющая форму буквы "S", которая часто применяется для «сглаживания» значений некоторой величины. Возрастающая функция.

Часто под сигмоидой понимают логистическую функцию

$\sigma(x) = \frac{1}{1 + e^{-x}}$

Семейство функций класса сигмоид

В семейство функций класса сигмоид также входят такие функции как арктангенс, гиперболический тангенс и другие функции подобного вида.

Функция Ферми (экспоненциальная сигмоида): $f(s)= \frac{1}{1+e^{-2 \alpha s}}$

Рациональная сигмоида: $f(s)= \frac{s}{|s|+ \alpha}$

Гиперболический тангенс: $f(s)= th \frac{s}{\alpha} = \frac{ e^{ \frac{s}{\alpha} } - e^{ - \frac{s}{\alpha}} } {e^{ \frac{s}{\alpha} } + e^{ - \frac{s}{\alpha}}}$

Модифицированный гиперболический тангенс: $f(s)= \frac {e^{as} - e^{-bs}} {e^{cs} + e^{-ds}}$

Применение

Нейронные сети

Сигмоида применяется в нейронных сетях в качестве функций активации, так как позволяет как усиливать слабые сигналы, так и не насыщаться от сильных сигналов.

Производная сигмоиды может быть легко выражена через саму функцию, что позволяет существенно сократить вычислительную сложность метода обратного распространения ошибки, сделав его применимым на практике:

$\sigma'(x) = (1 + \sigma(x)) \cdot (1 - \sigma(x))$ — для гиперболического тангенса

$\sigma'(x) = \sigma(x) \cdot (1 - \sigma(x))$ — для логистической функции

Логистическая регрессия

Логистическая функция $f(x) = \frac{1}{1 + e^{-x}}$ используется в логистической регрессии следующим образом. В ней решается задача классификации с двумя классами ($y=0$ и $y=1$, где $y$ — переменная, указывающая класс объекта), и делается предположение о том, что вероятность принадлежности объекта к одному из классов выражается через значения признаков этого объекта $x_1, x_2, ..., x_n$ (действительные числа):

$\mathbb{P}\{y=0\mid x_1,\ldots,x_n\} = f(a_1 x_1 + \ldots + a_n x_n) = \frac{1}{1 + \exp(-a_1 x_1 - \ldots - a_n x_n)},$

где $a_1, ..., a_n$ — некоторые коэффициенты, требующие подбора, обычно, методом наибольшего правдоподобия.

Выбор именно этой функции $f(x)$ можно обосновать, рассматривая логистическую регрессию, как обобщённую линейную модель в предположении, что зависимая переменная $y$ распределена по закону Бернулли.

См. также

• Искусственная нейронная сеть
• Перцептрон
• Модифицированный гиперболический тангенс

Литература

• Mitchell, Tom M. Machine Learning. — WCB–McGraw–Hill, 1997. — ISBN 0-07-042807-7.

Ссылки

• Сравнение быстроты нескольких программных реализаций гиперболического тангенса
• Continuous output, the sigmoid function (англ.).