Sieci neuronowe

Pomysł: wytrenuj MLP, który dla danej pozy $T$ (6 liczb: pozycja + RPY) zwraca 6 kątów $q$. Trenujesz na milionach par $(T, q)$ wygenerowanych losowo przez FK.

Brzmi sensownie — ale jest jeden zasadniczy problem.

Problem: jedna poza, kilka prawidłowych odpowiedzi

Pamiętasz z modułu 2, że dla Pumy ta sama poza może być osiągnięta na do 8 sposobów (shoulder L/R, elbow U/D, wrist flip)? W datasecie treningowym ta sama poza pojawia się więc kilka razy z różnymi kątami. A funkcja kosztu MSE każe sieci „minimalizuj średni kwadrat błędu" — więc sieć uczy się średniej wszystkich poprawnych odpowiedzi.

Tylko że średnia ośmiu różnych prawidłowych konfiguracji nie jest żadną prawidłową konfiguracją. To jak byś zapytał ośmiu osób o najkrótszą drogę do biura — jedna mówi „przez most", druga „przez tunel" — ich „średnia" („zjedź do rzeki i zatrzymaj się w połowie") to nonsens.

Czerwona kropka to predykcja MLP — średnia dwóch niebieskich „dzwonków" prawdziwych odpowiedzi. Średnia trafia dokładnie tam, gdzie żadna z odpowiedzi nie była. To nie jest błąd implementacji ani za małej sieci — to fundamentalna pułapka uśredniania.

Praktyczny ratunek: hybryda NN → DLS

Mimo wad, naiwny MLP ma jedną zaletę — daje dobry punkt startowy (warm start). Pomysł hybrydy:

Sieć daje przybliżenie (błąd ~5 cm), DLS dopina do precyzji maszynowej w 2–3 iteracjach. Sieć daje szybkość, klasyczny solver — dokładność. Tak właśnie wygląda większość produkcyjnych systemów IK z neural-warmem.

Niżej — laboratorium. Trenujemy MLP od zera (bez zewnętrznych bibliotek ML, ~200 linii TypeScriptu) i porównujemy surową predykcję z hybrydą NN → DLS.

Pomysł w jednym zdaniu: zamiast jednej liczby niech sieć zwraca listę możliwych odpowiedzi z prawdopodobieństwami.

Analogia: wyobraź sobie prognozę pogody. Możliwe podejścia:

• Prognoza punktowa (jak naiwny MLP): „jutro będzie 10°C". Jeśli model się myli — masz pecha.
• Prognoza probabilistyczna (jak MDN): „jutro: 70% szans 8°C ± 2°, 30% szans 15°C ± 2°" (dwa możliwe scenariusze). Może się okazać bardzo użyteczne — wiesz na co się przygotować.

Mixture Density Network (Bishop, 1994) to właśnie sieć, która zwraca prognozę probabilistyczną. Konkretnie — parametry kilku „dzwonków" (gaussianów):

• Wagi $\alpha_k(T)$ — jak prawdopodobny jest k-ty „garb"
• Środki $\mu_k(T)$ — gdzie ten garb leży
• Szerokości $\Sigma_k(T)$ — jak szeroki jest garb

Suma wszystkich garbów daje rozkład prawdopodobieństwa $p(q\,|\,T)$ — sieć mówi nie „q to 1.5", ale „q to z 50% szansy 1.5, z 50% szansy −1.5":

Po wytrenowaniu sieć z K = 8 komponentami dla Pumy naturalnie odkrywa 8 gałęzi rozwiązania — bo to jest matematycznie optymalna liczba „garbów" dla tych danych.

Jak tego używać:

• Najlepsze rozwiązanie — wybierz garb z największą wagą ($\alpha$), weź jego środek ($\mu$).
• Próbkowanie — losuj garb z prawdopodobieństwem proporcjonalnym do $\alpha$, potem losuj punkt z gaussa wokół $\mu$. Daje różnorodne, ale poprawne odpowiedzi.
• Ocena — dla danej kandydackiej wartości $q$ sieć zwraca jej prawdopodobieństwo. Można porównywać hipotezy.

Wady MDN: trening jest niestabilny (małe potknięcia inicjalizacji powodują, że wszystkie garby zlewają się w jeden); wybór K (ile garbów?) wymaga eksperymentów.

Pomysł w jednym zdaniu: nauczmy sieć przekształcać losowy szum w poprawne odpowiedzi.

Analogia: kreatywny artysta dostaje plamy atramentu z butelki (czyli losowy szum), patrzy na nie i rysuje z nich konkretne obrazy. Każdy losowy układ plam → inny prawidłowy obraz. Im lepszy artysta, tym ciekawsze i bardziej różnorodne wyniki.

IKFlow (Ames et al., 2022) jest takim artystą — siecią neuronową, która zamienia szum w poprawne kąty robota:

Po lewej — chmurka punktów z prostego gaussowskiego szumu (każdy punkt to losowy 6-wymiarowy wektor z rozkładu normalnego). Po prawej — te same punkty po przejściu przez sieć IKFlow: wszystkie spadły do jednego z wyraźnych klastrów, każdy klaster odpowiada jednej gałęzi rozwiązania IK (shoulder R i shoulder L). Sieć „wie", którą gałąź ma trafić każdy konkretny punkt szumu — bo jest warunkowa na pozie $T$.

Praktyczne użycie:

1. Wylosuj $z \sim \mathcal{N}(0, I)$ — zwykły gaussowski wektor 6-wymiarowy.
2. Podaj parę ($z$, $T$) do sieci.
3. Sieć zwraca $q = g_\theta^{-1}(z; T)$ — jedną z gałęzi rozwiązania.
4. Powtórz z innym $z$ — dostaniesz inną gałąź.

Siła tego podejścia: jedna sieć, dowolnie wiele różnych poprawnych rozwiązań. Wyniki publikowane (KUKA, Baxter, Atlas): próbkowanie w pojedynczych ms, błąd pozycji rzędu mm.

Konkretny przykład — manipulator 2R

Weźmy najprostszego robota, na którym można zobaczyć IKFlow w akcji: planarne ramię z dwoma ogniwami obrotowymi (dwa segmenty o długości 1, sterowane kątami $q_1, q_2$). Cel — czerwona kropka — możemy osiągnąć na dwa sposoby: elbow up (łokieć w górę) albo elbow down (łokieć w dół).

Niżej: dwanaście niezależnych zapytań do (symulowanej) sieci IKFlow. Dla każdego losujemy 2-wymiarowy gaussowski szum, sieć przekształca go w parę kątów. Naciśnij 🎲 wylosuj — zobaczysz, że część sampli daje rozwiązanie „elbow up" (zielone), część — „elbow down" (fioletowe). Wszystkie trafiają końcówką w czerwoną kropkę:

To jest cała magia normalizing flow w jednym demie: jedna sieć, jedno wywołanie, ale za każdym razem inna poprawna gałąź. Z 8 gałęzi Pumy zrobiłoby się analogicznie 8 klastrów; tu mamy 2 (bo robot 2R ma tylko dwa rozwiązania). Każde losowanie z gaussa to jeden „zaczerpnięty z kapelusza" kandydat.

Praktyczne zastosowanie: w planowaniu ruchu robot sięga po przedmiot. Jeden klaster może być zablokowany kolizją z ścianą — dzięki IKFlow generujemy dziesięć kandydatów, sprawdzamy kolizje i wybieramy ten, który przejdzie. Algorytm nie musi „wiedzieć" o ścianie a priori — wystarczy że po prostu produkuje różnorodne rozwiązania.

Uczciwie — co upraszcza powyższe demo?

Mogłeś zauważyć, że w demie powyżej znak $z_1$ bezpośrednio decyduje o gałęzi: z[0] > 0 ? "up" : "down". Wygląda to jak gdybym z góry „kazał" sieci wybrać konkretne rozwiązanie. Tak — w demie tak jest. Symuluję jedynie efekt już wytrenowanej sieci, bez całego treningu.

Prawdziwa sieć IKFlow działa inaczej:

1. Nikt jej z góry nie mówi „lewy obszar szumu prowadzi do elbow up, prawy do elbow down". Sieć ma wyjść z tym sama.
2. Trening: sieć dostaje miliony par $(T, q)$ z datasetu (przez FK z losowych konfiguracji robota). W każdym kroku optymalizator przesuwa wagi tak, żeby rozkład wyjść sieci dla danej pozy $T$ pasował do rozkładu rzeczywistych $q$ w danych. Mówiąc dokładniej: minimalizujemy negatywny log-likelihood obserwowanych $q$ przy danym $T$.
3. Co z tego wynika geometrycznie: po treningu w przestrzeni szumu $\mathbb{R}^n$ wyłaniają się regiony. Każdy region trafia (po przejściu przez sieć) do jednej z gałęzi rozwiązania. Granica między regionami jest gładka i — kluczowe — zależy od pozy $T$. Ten sam punkt szumu $z = (0.3, -0.7)$ dla pozy $T_1$ może trafić do elbow up, a dla pozy $T_2$ — do elbow down.
4. Coupling layers (warstwy odwracalne) to techniczny trick, dzięki któremu sieć jest matematycznie odwracalna i ma policzalny jakobian. Pozwala to wytrenować ją przez maximum likelihood (potrzebujemy $\log p(q|T)$, co przy odwracalnym mapowaniu liczy się jawnie).
5. Proporcje gałęzi również wynikają z treningu. W danych mamy ~50% przykładów z elbow up i ~50% z elbow down (dla pozycji w obszarze, gdzie istnieją obie). Sieć dopasowuje wielkość regionów w przestrzeni szumu tak, żeby częstość trafień odpowiadała częstości w danych.

Inaczej mówiąc: nie programujemy podziału. Podział wyłania się jako efekt uboczny minimalizacji błędu na danych. Sieć „sama odkrywa", że czasem trzeba dwóch rozwiązań, czasem ośmiu — bo dane treningowe ją do tego zmuszają.

Dlaczego nie zrobiłem prawdziwego IKFlow w demie? Wymagałby wytrenowania sieci z coupling layers (~kilkaset linii kodu + kilkanaście minut treningu na GPU + przygotowane dane). W naszym module pokazujemy ideę — efekt, który student powinien zrozumieć — bez angażowania pełnej infrastruktury ML. Naiwny MLP w sekcji „Laboratorium" niżej jest natomiast prawdziwy i trenujemy go od zera w przeglądarce.

Magia matematyczna w środku — żeby sieć była odwracalna i żeby umiała przekształcać dowolny rozkład w inny, używa się specjalnych warstw (coupling layers) z obliczalnym wyznacznikiem jakobianu. Szczegóły są dla zaawansowanych — tu wystarczy intuicja: sieć uczy się gładkiego, odwracalnego mapowania szum ↔ rozwiązania.

Implementacja IKFlow wymaga GPU i bibliotek typu FrEIA albo nflows — w naszej aplikacji pokazujemy ideę, nie pełny model. Literatura: Ames, Limb & Srinivasa, „IKFlow: Generating Diverse Inverse Kinematics Solutions", IROS 2022.

Pomysł w jednym zdaniu: zacznij od czystego szumu i stopniowo go „odszumiaj" w wiele małych kroków, aż wyłoni się prawidłowa odpowiedź.

Analogia: wyobraź sobie zaszumione, prawie nieczytelne zdjęcie. Aplikacja w telefonie powoli usuwa ziarno — krok po kroku obraz staje się wyraźniejszy. Po 50 krokach widać twarz. Diffusion models robią to samo, tylko zamiast obrazu odzyskują kąty robota.

Przesuń poniższy slider od 0 do 50. Zobaczysz, jak losowe punkty (szum) stopniowo przesuwają się ku swoim klastrom (rozwiązania IK):

Krok 0: czysty szum, kropki rozproszone wszędzie. Krok 50: kropki uformowały dwa wyraźne klastry — to są dwie gałęzie rozwiązania. Sieć diffusion, w każdym z 50 kroków, robi tylko jedno: zgaduje, jak trochę przesunąć każdy punkt, żeby było mniej szumu. Dziesiątki kolejnych takich małych kroków sumują się w pełny ruch z szumu do prawdziwej odpowiedzi.

Konkretny przykład — manipulator 2R z animacją

Trochę bardziej namacalna wersja — sześć egzemplarzy tego samego robota 2R (dwa ogniwa obrotowe). Każdy startuje z innego losowego ułożenia (czysty szum w kątach $q_1, q_2$). Slider 0 → 50 to kroki dyfuzji. W każdym kroku model robi mały „krok odszumiania" — kąty zbliżają się do jednej z dwóch poprawnych konfiguracji.

Przesuń slider od 0 do 50 i obserwuj. Krok 0: każdy robot leży inaczej, końcówki rozproszone losowo, kolory blade (model nie wie jeszcze, w którą stronę pójdzie). Mniej więcej przy kroku 20–30 widać, że pewne roboty już idą w stronę elbow up (zielone), a inne — elbow down (fioletowe). Krok 50: wszystkie sześć trafiło końcówką w czerwoną kropkę.

Kluczowa obserwacja: diffusion nie zna celu z góry — tylko przez wiele małych kroków „szlifuje" odpowiedź. To jest jak rzeźba odsłaniana z bryły kamienia: każde uderzenie dłutem usuwa odrobinę zbędnego materiału. Po dziesiątkach uderzeń wyłania się postać.

Dla Pumy z 8 gałęziami wyglądałoby to identycznie, tylko z sześcioma kątami zamiast dwóch i ośmioma możliwymi „celami" zamiast dwóch. Czas inferencji: 50 forward passów × ~0.3 ms = 15 ms na zapytanie — wolniejsze niż IKFlow, ale wciąż w czasie rzeczywistym.

Plusy:

• Bardzo wyraziste — radzą sobie z niezwykle skomplikowanymi rozkładami (multi-modalność wszelkiego rodzaju).
• Stabilny trening — łatwiej niż MDN czy GAN-y.
• State-of-the-art w generatywnym modelowaniu obrazów (DALL·E 2, Stable Diffusion), wideo (Sora) i robotyce (planowanie ruchu).

Minusy:

• Sampling jest iteracyjny — ~50 forward passów na jedną odpowiedź. Pojedyncze IK trwa kilkanaście milisekund (vs ~mikrosekund dla IKFlow).
• Dla zwykłego IK to zbyt drogie — IKFlow wystarcza.
• Diffusion „odgrywa swoje" w planowaniu trajektorii, gdzie generujemy całą sekwencję ruchów $q_{1:T}$ naraz — wtedy iteracyjny sampling przestaje być wadą.

Literatura: Janner et al. „Planning with Diffusion", ICML 2022; Pearce et al. „Imitating Human Behaviour with Diffusion Models", ICLR 2023.