Sieci neuronowe

Pomysł: wytrenuj MLP, który dla danej pozy $T$ (6 liczb: pozycja + RPY) zwraca 6 kątów $q$. Trenujesz na milionach par $(T, q)$ wygenerowanych losowo przez FK.

Brzmi sensownie, ale jest jeden zasadniczy problem.

Problem: jedna poza, kilka prawidłowych odpowiedzi

Pamiętasz z modułu 2, że dla Pumy ta sama poza może być osiągnięta na do 8 sposobów (shoulder L/R, elbow U/D, wrist flip)? W datasecie treningowym ta sama poza pojawia się więc kilka razy z różnymi kątami. A funkcja kosztu MSE każe sieci „minimalizuj średni kwadrat błędu", więc sieć uczy się średniej wszystkich poprawnych odpowiedzi.

Tylko że średnia ośmiu różnych prawidłowych konfiguracji nie jest żadną prawidłową konfiguracją. To jak byś zapytał ośmiu osób o najkrótszą drogę do biura, jedna mówi „przez most", druga „przez tunel", ich „średnia" („zjedź do rzeki i zatrzymaj się w połowie") to nonsens.

Czerwona kropka to predykcja MLP, średnia dwóch niebieskich „dzwonków" prawdziwych odpowiedzi. Średnia trafia dokładnie tam, gdzie żadna z odpowiedzi nie była. To nie jest błąd implementacji ani za małej sieci, to fundamentalna pułapka uśredniania.

Praktyczny ratunek: hybryda NN → DLS

Mimo wad, naiwny MLP ma jedną zaletę, daje dobry punkt startowy (warm start). Pomysł hybrydy:

Sieć daje przybliżenie (błąd ~5 cm), DLS dopina do precyzji maszynowej w 2–3 iteracjach. Sieć daje szybkość, klasyczny solver, dokładność. Tak właśnie wygląda większość produkcyjnych systemów IK z neural-warmem.

Niżej, laboratorium. Trenujemy MLP od zera (bez zewnętrznych bibliotek ML, ~200 linii TypeScriptu) i porównujemy surową predykcję z hybrydą NN → DLS.

Pomysł w jednym zdaniu: zamiast jednej liczby niech sieć zwraca listę możliwych odpowiedzi z prawdopodobieństwami.

Analogia: wyobraź sobie prognozę pogody. Możliwe podejścia:

• Prognoza punktowa (jak naiwny MLP): „jutro będzie 10°C". Jeśli model się myli, masz pecha.
• Prognoza probabilistyczna (jak MDN): „jutro: 70% szans 8°C ± 2°, 30% szans 15°C ± 2°" (dwa możliwe scenariusze). Może się okazać bardzo użyteczne, wiesz na co się przygotować.

Mixture Density Network (Bishop, 1994) to właśnie sieć, która zwraca prognozę probabilistyczną. Konkretnie , parametry kilku „dzwonków" (gaussianów):

• Wagi $\alpha_k(T)$, jak prawdopodobny jest k-ty „garb"
• Środki $\mu_k(T)$, gdzie ten garb leży
• Szerokości $\Sigma_k(T)$, jak szeroki jest garb

Suma wszystkich garbów daje rozkład prawdopodobieństwa $p(q\,|\,T)$, sieć mówi nie „q to 1.5", ale „q to z 50% szansy 1.5, z 50% szansy −1.5":

Po wytrenowaniu sieć z K = 8 komponentami dla Pumy naturalnie odkrywa 8 gałęzi rozwiązania, bo to jest matematycznie optymalna liczba „garbów" dla tych danych.

Jak tego używać:

• Najlepsze rozwiązanie, wybierz garb z największą wagą ($\alpha$), weź jego środek ($\mu$).
• Próbkowanie, losuj garb z prawdopodobieństwem proporcjonalnym do $\alpha$, potem losuj punkt z gaussa wokół $\mu$. Daje różnorodne, ale poprawne odpowiedzi.
• Ocena, dla danej kandydackiej wartości $q$ sieć zwraca jej prawdopodobieństwo. Można porównywać hipotezy.

Wady MDN: trening jest niestabilny (małe potknięcia inicjalizacji powodują, że wszystkie garby zlewają się w jeden); wybór K (ile garbów?) wymaga eksperymentów.

Pomysł w jednym zdaniu: nauczmy sieć przekształcać losowy szum w poprawne odpowiedzi.

Analogia: kreatywny artysta dostaje plamy atramentu z butelki (czyli losowy szum), patrzy na nie i rysuje z nich konkretne obrazy. Każdy losowy układ plam → inny prawidłowy obraz. Im lepszy artysta, tym ciekawsze i bardziej różnorodne wyniki.

IKFlow (Ames et al., 2022) jest takim artystą, siecią neuronową, która zamienia szum w poprawne kąty robota:

Po lewej, chmurka punktów z prostego gaussowskiego szumu (każdy punkt to losowy 6-wymiarowy wektor z rozkładu normalnego). Po prawej, te same punkty po przejściu przez sieć IKFlow: wszystkie spadły do jednego z wyraźnych klastrów, każdy klaster odpowiada jednej gałęzi rozwiązania IK (shoulder R i shoulder L). Sieć „wie", którą gałąź ma trafić każdy konkretny punkt szumu, bo jest warunkowa na pozie $T$.

Praktyczne użycie:

1. Wylosuj $z \sim \mathcal{N}(0, I)$, zwykły gaussowski wektor 6-wymiarowy.
2. Podaj parę ($z$, $T$) do sieci.
3. Sieć zwraca $q = g_\theta^{-1}(z; T)$, jedną z gałęzi rozwiązania.
4. Powtórz z innym $z$, dostaniesz inną gałąź.

Siła tego podejścia: jedna sieć, dowolnie wiele różnych poprawnych rozwiązań. Wyniki publikowane (KUKA, Baxter, Atlas): próbkowanie w pojedynczych ms, błąd pozycji rzędu mm.

Konkretny przykład, manipulator 2R

Weźmy najprostszego robota, na którym można zobaczyć IKFlow w akcji: planarne ramię z dwoma ogniwami obrotowymi (dwa segmenty o długości 1, sterowane kątami $q_1, q_2$). Cel, czerwona kropka, możemy osiągnąć na dwa sposoby: elbow up (łokieć w górę) albo elbow down (łokieć w dół).

Niżej: dwanaście niezależnych zapytań do (symulowanej) sieci IKFlow. Dla każdego losujemy 2-wymiarowy gaussowski szum, sieć przekształca go w parę kątów. Naciśnij wylosuj, zobaczysz, że część sampli daje rozwiązanie „elbow up" (zielone), część, „elbow down" (fioletowe). Wszystkie trafiają końcówką w czerwoną kropkę:

To jest cała magia normalizing flow w jednym demie: jedna sieć, jedno wywołanie, ale za każdym razem inna poprawna gałąź. Z 8 gałęzi Pumy zrobiłoby się analogicznie 8 klastrów; tu mamy 2 (bo robot 2R ma tylko dwa rozwiązania). Każde losowanie z gaussa to jeden „zaczerpnięty z kapelusza" kandydat.

Praktyczne zastosowanie: w planowaniu ruchu robot sięga po przedmiot. Jeden klaster może być zablokowany kolizją z ścianą, dzięki IKFlow generujemy dziesięć kandydatów, sprawdzamy kolizje i wybieramy ten, który przejdzie. Algorytm nie musi „wiedzieć" o ścianie a priori, wystarczy że po prostu produkuje różnorodne rozwiązania.

Uczciwie, co upraszcza powyższe demo?

Mogłeś zauważyć, że w demie powyżej znak $z_1$ bezpośrednio decyduje o gałęzi: z[0] > 0 ? "up" : "down". Wygląda to jak gdybym z góry „kazał" sieci wybrać konkretne rozwiązanie. Tak, w demie tak jest. Symuluję jedynie efekt już wytrenowanej sieci, bez całego treningu.

Prawdziwa sieć IKFlow działa inaczej:

1. Nikt jej z góry nie mówi „lewy obszar szumu prowadzi do elbow up, prawy do elbow down". Sieć ma wyjść z tym sama.
2. Trening: sieć dostaje miliony par $(T, q)$ z datasetu (przez FK z losowych konfiguracji robota). W każdym kroku optymalizator przesuwa wagi tak, żeby rozkład wyjść sieci dla danej pozy $T$ pasował do rozkładu rzeczywistych $q$ w danych. Mówiąc dokładniej: minimalizujemy negatywny log-likelihood obserwowanych $q$ przy danym $T$.
3. Co z tego wynika geometrycznie: po treningu w przestrzeni szumu $\mathbb{R}^n$ wyłaniają się regiony. Każdy region trafia (po przejściu przez sieć) do jednej z gałęzi rozwiązania. Granica między regionami jest gładka i, kluczowe, zależy od pozy $T$. Ten sam punkt szumu $z = (0.3, -0.7)$ dla pozy $T_1$ może trafić do elbow up, a dla pozy $T_2$, do elbow down.
4. Coupling layers (warstwy odwracalne) to techniczny trick, dzięki któremu sieć jest matematycznie odwracalna i ma policzalny jakobian. Pozwala to wytrenować ją przez maximum likelihood (potrzebujemy $\log p(q|T)$, co przy odwracalnym mapowaniu liczy się jawnie).
5. Proporcje gałęzi również wynikają z treningu. W danych mamy ~50% przykładów z elbow up i ~50% z elbow down (dla pozycji w obszarze, gdzie istnieją obie). Sieć dopasowuje wielkość regionów w przestrzeni szumu tak, żeby częstość trafień odpowiadała częstości w danych.

Inaczej mówiąc: nie programujemy podziału. Podział wyłania się jako efekt uboczny minimalizacji błędu na danych. Sieć „sama odkrywa", że czasem trzeba dwóch rozwiązań, czasem ośmiu, bo dane treningowe ją do tego zmuszają.

Dlaczego nie zrobiłem prawdziwego IKFlow w demie? Wymagałby wytrenowania sieci z coupling layers (~kilkaset linii kodu + kilkanaście minut treningu na GPU + przygotowane dane). W naszym module pokazujemy ideę, efekt, który student powinien zrozumieć, bez angażowania pełnej infrastruktury ML. Naiwny MLP w sekcji „Laboratorium" niżej jest natomiast prawdziwy i trenujemy go od zera w przeglądarce.

Magia matematyczna w środku, żeby sieć była odwracalna i żeby umiała przekształcać dowolny rozkład w inny, używa się specjalnych warstw (coupling layers) z obliczalnym wyznacznikiem jakobianu. Szczegóły są dla zaawansowanych, tu wystarczy intuicja: sieć uczy się gładkiego, odwracalnego mapowania szum ↔ rozwiązania.

Implementacja IKFlow wymaga GPU i bibliotek typu FrEIA albo nflows, w naszej aplikacji pokazujemy ideę, nie pełny model. Literatura: Ames, Limb & Srinivasa, „IKFlow: Generating Diverse Inverse Kinematics Solutions", IROS 2022.

Pomysł w jednym zdaniu: zacznij od czystego szumu i stopniowo go „odszumiaj" w wiele małych kroków, aż wyłoni się prawidłowa odpowiedź.

Analogia: wyobraź sobie zaszumione, prawie nieczytelne zdjęcie. Aplikacja w telefonie powoli usuwa ziarno, krok po kroku obraz staje się wyraźniejszy. Po 50 krokach widać twarz. Diffusion models robią to samo, tylko zamiast obrazu odzyskują kąty robota.

Przesuń poniższy slider od 0 do 50. Zobaczysz, jak losowe punkty (szum) stopniowo przesuwają się ku swoim klastrom (rozwiązania IK):

Krok 0: czysty szum, kropki rozproszone wszędzie. Krok 50: kropki uformowały dwa wyraźne klastry, to są dwie gałęzie rozwiązania. Sieć diffusion, w każdym z 50 kroków, robi tylko jedno: zgaduje, jak trochę przesunąć każdy punkt, żeby było mniej szumu. Dziesiątki kolejnych takich małych kroków sumują się w pełny ruch z szumu do prawdziwej odpowiedzi.

Konkretny przykład, manipulator 2R z animacją

Trochę bardziej namacalna wersja, sześć egzemplarzy tego samego robota 2R (dwa ogniwa obrotowe). Każdy startuje z innego losowego ułożenia (czysty szum w kątach $q_1, q_2$). Slider 0 → 50 to kroki dyfuzji. W każdym kroku model robi mały „krok odszumiania", kąty zbliżają się do jednej z dwóch poprawnych konfiguracji.

Przesuń slider od 0 do 50 i obserwuj. Krok 0: każdy robot leży inaczej, końcówki rozproszone losowo, kolory blade (model nie wie jeszcze, w którą stronę pójdzie). Mniej więcej przy kroku 20–30 widać, że pewne roboty już idą w stronę elbow up (zielone), a inne, elbow down (fioletowe). Krok 50: wszystkie sześć trafiło końcówką w czerwoną kropkę.

Kluczowa obserwacja: diffusion nie zna celu z góry, tylko przez wiele małych kroków „szlifuje" odpowiedź. To jest jak rzeźba odsłaniana z bryły kamienia: każde uderzenie dłutem usuwa odrobinę zbędnego materiału. Po dziesiątkach uderzeń wyłania się postać.

Dla Pumy z 8 gałęziami wyglądałoby to identycznie, tylko z sześcioma kątami zamiast dwóch i ośmioma możliwymi „celami" zamiast dwóch. Czas inferencji: 50 forward passów × ~0.3 ms = 15 ms na zapytanie, wolniejsze niż IKFlow, ale wciąż w czasie rzeczywistym.

Plusy:

• Bardzo wyraziste, radzą sobie z niezwykle skomplikowanymi rozkładami (multi-modalność wszelkiego rodzaju).
• Stabilny trening, łatwiej niż MDN czy GAN-y.
• State-of-the-art w generatywnym modelowaniu obrazów (DALL·E 2, Stable Diffusion), wideo (Sora) i robotyce (planowanie ruchu).

Minusy:

• Sampling jest iteracyjny, ~50 forward passów na jedną odpowiedź. Pojedyncze IK trwa kilkanaście milisekund (vs ~mikrosekund dla IKFlow).
• Dla zwykłego IK to zbyt drogie, IKFlow wystarcza.
• Diffusion „odgrywa swoje" w planowaniu trajektorii, gdzie generujemy całą sekwencję ruchów $q_{1:T}$ naraz, wtedy iteracyjny sampling przestaje być wadą.

Literatura: Janner et al. „Planning with Diffusion", ICML 2022; Pearce et al. „Imitating Human Behaviour with Diffusion Models", ICLR 2023.