T-розподілене вкладення стохастичної близькості

Частина з циклу
Машинне навчання та добування даних
Парадигми Кероване навчання Некероване навчання Інтерактивне навчання Пакетне навчання Метанавчання Напівкероване навчання Самокероване навчання Навчання з підкріпленням Навчання на основі правил Квантове машинне навчання[en]
Задачі Класифікація Породжувальна модель Регресія Кластерування Знижування розмірності Оцінювання густини Виявляння аномалій Очищування даних[en] АвтоМН Асоціативні правила Семантичний аналіз[en] Структурове передбачування Конструювання ознак Навчання ознак Навчання ранжуванню Виведення граматик[en] Навчання онтологій[en] Мультимодальне навчання[en]
Кероване навчання (класифікація • регресія) Ансамблі Випадковий ліс Бутстрепова агрегація Підсилювання Градієнтне підсилювання[en] AdaBoost[en] Дерева рішень MARS[en] CART Доречно-векторна машина k-сусідів Лінійна регресія Логістична регресія Лінійний розділювальний аналіз Наївний баєсів класифікатор Перцептрон Підмайстрове навчання Опорно-векторна машина Штучні нейронні мережі
Кластерування BIRCH[en] CURE Ієрархічне k-середніх Нечітке Очікування-максимізація DBSCAN OPTICS Спектральне Зсув середнього[en]
Знижування розмірності Факторний аналіз Метод незалежних компонент[en] Канонічна кореляція Дискримінантний аналіз Метод головних компонент Власний узагальнений розклад[en] Розклад невід'ємних матриць t-розподілене вкладення стохастичної близькості Навчання розріджених словників[en]
Структурове передбачування Графові моделі Баєсова мережа Прихована марковська модель Умовне випадкове поле
Виявляння аномалій RANSAC k-НС Коефіцієнт локального відхилення Відстань Кука Ізоляційний ліс[en]
Штучна нейронна мережа Автокодувальник Когнітивні обчислення[en] Глибоке навчання DeepDream[en] Нейронна мережа прямого поширення Рекурентна нейронна мережа ДКЧП ВРВ МВС Резервуарне обчислення Обмежена машина Больцмана ГЗМ Дифузійна модель Самоорганізаційна карта Згорткова нейронна мережа U-Net Трансформер Зоровий Спайкова нейронна мережа[en] Мемтранзистор Електрохімічна ПДД[en] (ECRAM)
Навчання з підкріпленням Q-навчання SARSA Метод часових різниць Багатоагентне навчання з підкріпленням Гра проти себе[en]
Навчання з людьми Активне навчання (машинне навчання)[en] Краудсорсинг Людина-в-циклі
Діагностування моделей Крива спроможності навчатися[en]
Математичні засади Ядрові машини Компроміс зсуву та дисперсії Ймовірнісно приблизно коректне навчання Мінімізація емпіричного ризику Оккамове навчання[en] Регуляризація LASSO[en] Тихонова Еластично-сіткова[en] Статистичне навчання Теорія Вапника — Червоненкіса Теорія обчислювального навчання[en]
Місця машинного навчання ECML PKDD[en] NeurIPS[en] ICML[en] ICLR IJCAI ML JMLR
Пов'язані статті Глосарій штучного інтелекту[en] Список наборів даних для досліджень з машинного навчання Перелік понять машинного навчання[en]
п о р

Частина з циклу Статистика
Унаочнювання даних
Головні виміри Розвідувальний аналіз Інформаційний дизайн Інтерактивне унаочнення даних Описова статистика Висновувальна статистика Статистичний графік Діаграма залежності[en] Аналіз даних Інфографіка Наука про дані
Лідери думки Джон Тьюкі Едвард Тафті Гедлі Уікгем[en]
Типи інформаційних графіків Лінійна діаграма Стовпчикова діаграма Гістограма Точкова діаграма Коробковий графік Діаграма Парето Секторна діаграма Діаграма з областями Контрольний графік Циклограма Діаграма «стовбур — листя» Картограма Панельна діаграма[en] Іскрографік Таблиця
Пов'язані теми Дані Інформація Великі дані База даних Неінформативні елементи[en] Зір Регресійний аналіз Статистична модель Оманливий графік
п о р

T-розподілене вкладення стохастичної близькості (англ. t-distributed Stochastic Neighbor Embedding, t-SNE) — це метод машинного навчання візуалізації даних, розроблений Лоренсом ван дер Маатеном і Джефрі Гінтоном.^[1] Це зручний метод нелінійного зниження розмірності^[en] шляхом вкладення багатовимірних даних у дво- або тривимірний простір для подальшої візуалізації. Зокрема, він відображає кожну точку багатовимірного простору в дво- або тривимірну точку евклідового простору так, що подібні об'єкти розташовуються поруч, а несхожі об'єкти відповідають віддаленим точкам з високою ймовірністю.

Алгоритм t-SNE складається з двох основних етапів. Спочатку, t-SNE створює розподіл імовірностей по парах багатовимірних об'єктів таким чином, що подібні об'єкти мають високу ймовірність бути вибраними, у той час як несхожі точки мають надзвичайно малу ймовірність бути вибраними разом. Далі, t-SNE визначає подібний розподіл ймовірностей для точок у карті низьковимірного простору та мінімізує розбіжності за відстанню Кульбака–Лейблера між двома розподілами за місцем розташування точок на карті. Зверніть увагу, що хоч оригінальний алгоритм і використовує евклідову відстань між об'єктами, як основну метрику подібності об'єктів, проте, вона може бути змінена при необхідності.

t-SNE використовується для візуалізації в різноманітних застосунках, таких як дослідження по комп'ютерній безпеці,^[2] аналізу музики,^[3] дослідженнях раку^[en],^[4] біоінформатики,^[5] та біомедичній обробці сигналів.^[6] Він часто використовується для візуалізації високорівневих представлень, отриманих за допомогою штучної нейронної мережі.^[7]

Хоча візуалізації отримані за допомогою t-SNE часто використовуються для відображення кластерів, отримане зображення може суттєво залежати від обраної параметризації і тому потрібне глибоке розуміння параметрів, які використовуються для t-SNE. Навіть для некластеризованих даних можуть з'явитись «кластери»^[8], що може привести до помилкових висновків. Тим самим, для правильного підбору параметрів і перевірки результатів може бути потрібне інтерактивне дослідження даних.^[9][10] Було продемонстровано, що t-SNE часто здатний відновлювати добре розділені кластери, та зі спеціальним вибором параметрів, він наближається до простої форми спектральної кластеризації.^[11]

Для даного набору ${\displaystyle N}$ багатовимірних об'єктів ${\displaystyle \mathbf {x} _{1},\dots ,\mathbf {x} _{N}}$ t-SNE спочатку обчислює ймовірності ${\displaystyle p_{ij}}$ пропорційні схожості ${\displaystyle \mathbf {x} _{i}}$ і ${\displaystyle \mathbf {x} _{j}}$ наступним чином:

${\displaystyle p_{j\mid i}={\frac {\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{j}\rVert ^{2}/2\sigma _{i}^{2})}{\sum _{k\neq i}\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{k}\rVert ^{2}/2\sigma _{i}^{2})}},}$

Ван дер Маатен та Гінтон пояснюють такий вибір відстані наступним чином: «подібність точки даних ${\displaystyle x_{j}}$ до точки даних ${\displaystyle x_{i}}$ — це умовна ймовірність, ${\displaystyle p_{j|i}}$, що ${\displaystyle x_{i}}$ вибрав би ${\displaystyle x_{j}}$ як свого сусіда, якби сусіди були обрані пропорційно їх гаусовій густині ймовірності з центром в ${\displaystyle x_{i}}$.»^[1]

${\displaystyle p_{ij}={\frac {p_{j\mid i}+p_{i\mid j}}{2N}}}$

Більш того, коли ${\displaystyle i=j}$, ймовірності дорівнюють нулю: ${\displaystyle p_{ij}=0}$

Пропускна здатність Гаусового ядра ${\displaystyle \sigma _{i}}$встановлюється за допомогою методу бісекції так, що перплексивність умовного розподілу дорівнює попередньо визначеній перплексивності. У результаті пропускна здатність адаптується до густини даних: менші значення ${\displaystyle \sigma _{i}}$ використовуються у більш густих частинах даних.

Через те що Гаусове ядро використовує евклідову відстань ${\displaystyle \lVert x_{i}-x_{j}\rVert }$, то, у випадку дуже високої розмірності даних, слід мати на увазі ефект прокляття розмірності, коли відстані втрачають здатність до розділення і ${\displaystyle p_{ij}}$ стають дуже схожими (асимптотично, вони збігаються до константи). Для пом'якшення цього ефекту запропоновано^[12] регулювати відстані степеневим перетворенням, спираючись на внутрішню розмірність^[en] кожної точки.

t-SNE намагається дізнатись ${\displaystyle d}$-вимірне відображення ${\displaystyle \mathbf {y} _{1},\dots ,\mathbf {y} _{N}}$ (де ${\displaystyle \mathbf {y} _{i}\in \mathbb {R} ^{d}}$), яке відображає подібність ${\displaystyle p_{ij}}$ наскільки це можливо. З цією метою він вимірює схожість ${\displaystyle q_{ij}}$ між двома точками відображення ${\displaystyle \mathbf {y} _{i}}$ та ${\displaystyle \mathbf {y} _{j}}$ за допомогою аналогічного підходу. Зокрема, ${\displaystyle q_{ij}}$ визначається як:

${\displaystyle q_{ij}={\frac {(1+\lVert \mathbf {y} _{i}-\mathbf {y} _{j}\rVert ^{2})^{-1}}{\sum _{k\neq l}(1+\lVert \mathbf {y} _{k}-\mathbf {y} _{l}\rVert ^{2})^{-1}}}}$

Тут використовується T-розподіл Стьюдента з обважнілим кінцем (з одним ступенем свободи, який є по суті розподілом Коші) для вимірювання подібностей між точками у низьковимірному просторі для того, щоб різнорідні об'єкти були змодельовані далеко один від одного при відображенні. Зверніть увагу, що в даному випадку ми прирівнюємо ${\displaystyle q_{ii}=0.}$

Координати точок ${\displaystyle \mathbf {y} _{i}}$ при відображенні визначаються шляхом мінімізації (несиметричної) відмінності по мірі Кульбака–Лейблера розподілу ${\displaystyle Q}$ від розподілу ${\displaystyle P}$, тобто:

${\displaystyle KL(P||Q)=\sum _{i\neq j}p_{ij}\log {\frac {p_{ij}}{q_{ij}}}}$

Мінімізація розбіжностей Кульбака–Лейблера по точкам ${\displaystyle \mathbf {y} _{i}}$ здійснюється за допомогою градієнтного спуску. Результатом такої оптимізації є відображення, яке добре зберігає подібність між входовими даними високої розмірності.

• t-SNE від Лоренса ван дер Маатена https://lvdmaaten.github.io/tsne/ [Архівовано 28 грудня 2018 у Wayback Machine.]
• ELKI^[en] містить t-SNE. Див. https://github.com/elki-project/elki/blob/master/elki/src/main/java/de/lmu/ifi/dbs/elki/algorithm/projection/TSNE.java^{[недоступне посилання з жовтня 2019]}

• Візуалізація даних за допомогою t-SNE [Архівовано 24 липня 2018 у Wayback Machine.], Google Tech Talk про t-SNE
• Реалізація t-SNE різними мовами програмування [Архівовано 28 грудня 2018 у Wayback Machine.], список посилань підтримує Лоренс ван дер Маатен
• Wattenberg, Martin; Viégas, Fernanda; Johnson, Ian (13 жовтня 2016). How to Use t-SNE Effectively. Distill (англ.). Т. 1, № 10. с. e2. doi:10.23915/distill.00002. ISSN 2476-0757. Архів оригіналу за 3 січня 2021. Процитовано 4 січня 2021.