Mobil robotok szimulációja speci 4. óra

Age of Kings AI editor tulajdonságai

• szabályalapú rendszer
• a szabályok tüzelnek, ha feltételeik igazzá válnak
• stratégiai számok határozzák meg a csapat viselkedését (sn-wood-gatherer-percentage)
• példák szabályra

  (defrule
      (can-afford-unit villager)  ; van elég erõforrás
      (can-train villager)	; van elég ház
  =>
      (train villager)		; új dolgozó létrehozása
  )
  

• food.per
• castle.per
• nem elég konstruktív, csak az fejlesztõk által kitalált mederben folyhat az intelligencia építése pl.:
  • town-under-attack - mikor van támadás alatt?,
  • sn-wood-gatherer-percentage - melyik városnál hányan gyûjtsenek fát?
  • sn-attack-intelligence (Y/N) - támadási stratégiák hiánya
• térképkezelésre, katonaság finom irányítására nincs lehetõség

Konnekcionizmus és párhuzamosság

• A konnekcionista felfogás alapgondolatai
  • az emberi értelem idegrendszerszerû modellálása
  • minden tudásunk csomópontok izgalmi állapotával, s köztük levõ serkentõ és gátló kapcsolatokkal írható le
  • a hálózatok címkézetlenek
  • nincsenek szimbólumok és szabályok
  • párhuzamos aktiválás és versengés
  • a tudás a hálózat egy részének aktivált állapota
  • minden reprezentáció kicsiny építõkövekbõl áll össze
  • a tanulás a háló súlyviszonyainak beállítása
  • a sémák együtt aktivált hálózatrészek
  • neurális, pszichológiai és számítástechnikai modellálás új szövetsége
  • számítógép felépítése - programok logikája
• A mesterséges neurális hálók biológiai motívációjának egyik oka
  • százlépéses szabály
  • minden tudásjellegû felismerés (rokon megismerése) nagyjából a 100 és a 800 msec tartományban történik
  • egy átlagos neuron 1 msec-ként képes tüzelni
  • egy felismerés nem tarthat tovább néhány száz lépésnél
  • komplex döntések => nagyfokú párhuzamosság

Mesterséges neurális hálózatok története

• körülbelül ötven éves, idegrendszerszerû modellálás
• egysejt-modell McCulloch, Pitts (1943), univerzális számoló gép
• Perceptron Rosenblatt (50-es évek), tanulás
• Perceptronok Minsky, Papert (1969), XOR-probléma
• önszervezõdés (Kohonen), backpropagáció (McClelland, Rumelhart) (80-as évek)
• tudományfilozófia: konnekcionizmus
• biológia kapcsolat, párhuzamosság

Mesterséges neurális hálózatok felépítése

• eltérõ típusok, nincs egységes forma
• neuronok és köztük lévõ irányított kapcsolatok
• input kívülrõl vagy más neurontól (dendrit)
• bemenetek feldolgozása, belsõ állapot
• kimenet vagy más neuron bemenete (axon)
• mindig lokális információk felhasználása
• belsõ paraméterek felhasználása az állapot meghatározására: súlyok
• serkentés - pozitív, gátlás - negatív súly
• tanulás: neuron súlyainak változása
• tudás: struktúra és súlyok
• nincs szimbólum-reprezentáció, címkék
• fogalmaink reprezentánsai: gyakori együttjárási mintázatok
• bár univerzálisak, nem mindig érdemes õket alkalmazni:
  • példák attribútum-érték párok
  • célfüggvény számokon definiált, diszkrét és valós, skalár és vektor
  • példák hibát tartalmazhatnak
  • hosszú tanítási idõ, olykor több ezer példa
  • célfüggvény gyors kiértékelése szükséges
  • célfüggvény emberi érthetõsége nem fontos
• neuron - feldolgozó egység
• könnyû feladatmegoldás?

Elõre huzalozott architektúra

• Beer, neuroetológia, animat csótány, moduláris felépítéssel
• Brooks-szal szemben a modulok itt neuronokból és serkentõ-gátló kapcsolatokból állnak
• négy modul: járás, falkövetés, táplálék-keresés, táplálék-fogyasztás
• gátló kapcsolatok modulok között és szenzorok serkentése

  

• motoros neuronok (állás, mozgás, lábletevés), ritmus, szenzoros szabályozás, parancs

  

• gátlás a szomszédos ritmusneuronok között
• Braitenberg-szerû táplálék-keresés: antennák, szagszenzorok, parancs, elfordulás

  

• rágás: szenzorok, harapása ritmusa

A Perceptron

• elsõ típus, bemenet súlyozott összege, kimenet 1 vagy -1

  

  

• asszimetria, 0-s súly szerepe, konstans inputtal skalárszorzat
• paraméterezhetõ Boole-függvény

  

• logikai ÉS, VAGY, negálás
• elemi függvények reprezentálása -> hálózattal tetszõleges logikai függvény
• diszjunktív normálforma, univerzalitás
• hipersík az inputvektorok n-dimenziós terében
• létezik nem szétválasztható inputvektor-halmaz, kizáró VAGY

  

• lineáris szeparábilitás
• tanulási szabály a Perceptronnal megoldható feladatokra
• véletlen súlyok, hiba esetén módosítás

  

• változtatás helyessége
• véges sok tanulási lépés után helyesen osztályoz
• eta szerepe

Az Adaline

• Adaptive Linear Neuron, Adaptive Linear Element
• approximáció minden példahalmazra, nem csak lineárisan szeparábilisra
• tanulási szabálya jól általánosítható
• kimenet szignum nélkül, tetszõleges valós szám (approximáció)

  

• leképezés hibájának mérése, például:

  

• E, mint a súlyok közvetett függvénye egy parabola

  

• Widrow-Hoff szabály a minimum megtalálására
• hibafüggvény gradiensének számítása (legnagyobb növekedés)

  

• legnagyobb csökkenés iránya

  

  

• a gradiens kiszámítása:

  

• Perceptronéhoz hasonló tanítási folyamat
• gradiens módszer általában: mindig használható folytonos paramétereknél, ha a függés kalkulálható, de
• lassú, lokális minimumban elakadhat
• hibák enyhítésére inkrementális módszer
• minden példára külön hibaszámítás és súlymódosítás

  

• 

• véletlen súlyok, példák alkalmazása konvergenciáig
• eltérõ alakú hibafüggvények -> minimum megtalálható, kevesebb számítást igényel, de kisebbeket szabad lépni
• inkrementális Widrow-Hoff - Perceptron: eltérés az output definíciójában
• Perceptron: véges lépésben konvergál, de csak lineárisan szeparábilis példákra
• Adaline: minden példára alkalmazható, approximáció, konvergencia nem biztosított

Egy neuronos robot irányítása

• Wyeth, kicsi architektúra, de valamennyire használható
• Perceptron, Adaline, nem tanuló, tanuló formában
• két pár szenzor, szimmetrikusan, akadályokra és teniszlabdákra
• labdák begyûjtése egy tárgyakkal teli szobában
• 90 fokos érzékelés 30 fokos átfedéssel, fix távolságon belül
• egyszerûsített szimulátor: lineáris függés a parancsoktól, kinematika, átlátszó tárgyak, nincs ütközés
• Braitenberg-jármû - neurális háló kapcsolata
• akadály - gátló keresztezett (asszimetria), teniszlabda - gátló soros
• versengés az ingerek között elkerülhetõ
• Adaline: térkép hiánya, versengés mégsem küszöbölhetõ ki
• Perceptron: 0 nélküli szignum helyett {0,1}-kimenet, robot négyféle dolgot tehet, további keresztezõ kapcsolat szükséges a szaggatott haladás miatt

  

• 
• akadálykikerülés tanulása: gombnyomásokból helyes irány leszûrése
• súlyváltozások kötegekben: stabilitási-plaszticitási dilemma
• valódi robot (CORGI), dinamika a kinematika helyett, képfeldolgozás, visszafele kapcsolt motor

  

  

  

Több neuron elõnyei, megvalósítása

• általános függvényapproximáció szökséges
• biológiai megoldások
• egyenlet kontra egyenletrendszer
• Perceptron és Adaline elõnyeinek egyesítése: nem lináris kimenet, továbbfejleszthetõ tanulási szabály
• módosított neuron (szigmoid függvény)

  

  

  

• könnyen deriválható, folytonos, összehúzó függvény
• paraméterezés, hõmérséklet
• tanh

A Backpropagáció algoritmusa

• McClelland, Rumelhart a nyolcvanas években
• gradiens módszer kiterjesztése
• több kimenet, az új hibafüggvény

  

• komolyabb kihívás, keresés az összes neuron összes súlyának terében
• összetett hibafüggvény, lokális minimumok
• neuronok tetszõleges, körmentes hálózata
• elõször háromrétegû struktúra, bemenet, rejtett réteg, kimenet

  

• teljes kapcsolat, lineáris, szigmoid, szigmoid formában
• BackPropagation(példák,eta,n_in,n_out,n_hidden) {

  Itt a példák a tanítást elõsegítõ vektorpárok, n_in az inputneuronok, n_hidden a rejtett rétegbeli neuronok n_out a kimeneti neuronok száma, és eta a tanulási sebesség.

  • Elsõ lépés a körmentes háló létrehozása a megadott paramétereknek megfelelõen.
  • Ezután a háló súlyainak inicializálása következik kis, véletlen értékekkel (pl. -0.05 és 0.05 között).
  • Majd, amíg a háló hibája nem elég kicsi a következõket kell végrehajtani:
    • Minden egyes példára végrehajtandó:
      • A bemenet propagálása a teljes hálón elõre a kimenet létrejöttéig.
      • A hiba propagálása a teljes hálón visszafele a kezdetekig.
      • Hiba kiszámítása a kimeneti neuronokra:
      • Hiba kiszámítása a rejtett réteg neuronjaira:
      • Hálósúlyok módosítása:
• indexek: k - kimenet, h - rejtett réteg, ji - i-bõl j-be
• súlymódosítás: eta, bemenet, delta - korábbi különbség vagy a rákövetkezõ réteg hibájából a neuronra vonatkozó
• bizonyíthatóan gradiens módszert végez
• kiterjesztés több rétegre

  

• kiterjesztés tetszõleges körmentes hálóra

  

Konvergencia és lokális minimum

• a bonyolult felület miatt nem garantált a globális minimum megtalálása
• mégis általában jól teljesít
• összes neuron összes súlya által alkotott tér
• minimum az egyik súly szerint, másik szerint még elmozdulhat->
• több súly, kevesebb elakadás
• szigmoid függvény alakja, inicializálás
• kis súlyok, kis összeg, nagyjából lineáris, lokális minimumok nélkül
• a lokális minimumok elkerülésére léteznek módszerek
• momentum: elõnyös síkon és gödörben,

  

  guruló labda

• standard és inkrementális Widrow-Hoff
• eta csökkentése

  

• egyszerre több neurális háló futtatása
• több számítás, de közös döntés vagy a legjobb háló döntése