MI: a legnagyobb veszély, ami az emberiséget fenyegeti

Valójában az emberiség nincs tisztában azzal, mekkora veszélyt is jelent számunkra az, hogy a mesterséges intelligenciával játszadozunk.

A fejlődés hihetetlen üteme egyre inkább aggasztja a világ legokosabb embereit, akik próbálnak figyelmeztetni: nem járunk jó úton, mert ha így folytatjuk az intelligensebbnél intelligensebb robotok létrehozását, előbb-utóbb ellenünk is fordulhatnak.

1990-et írunk; itthon mindenkit az egyelőre borsos árú, ismeretlen világot kínáló mobiltelefonok tartanak lázban. Megalakul az első magyar rádiótelefon-társaság, a Westel, az emberek ismerkednek a zsinóros telefonokat felváltó világgal. Bár az első mobilok korántsem voltak olcsók, sőt, mégis az üzletek előtt hosszú sorok kígyóztak, és mindenki arra várt, hogy megkaparinthassa élete első mobiltelefonját.

Mit gondol, ha ekkor odamegy az egyik sorban álló emberhez, aki még csak ismerkedik a mobiltelefon fogalmával, és azt mondja neki, hogy húsz év múlva mindössze néhány grammos számítógépeket cipel majd a zsebében, amiken lehet telefonálni, üzenetet küldeni, elérni a világhálót, játszani, navigálni – vajon hitt-e volna Önnek? És ha elárulja, hogy 25 év múlva az önjáró autók már a hétköznapi használat küszöbén állnak, az űrturizmus valós dolog, a magán-űrutazás egyre inkább előretör, és sokan már virtuális valóságot alkalmazó játékokkal játszunk? Valószínűleg az illető legyintene, és visszatérne a sorbanálláshoz, hogy végre ne csak otthon, a telefon mellett tudjon beszélgetni a barátaival, hanem úgy cipelhesse a kagylót, ahogy jólesik neki.

A jövőben járunk
Pedig itt tartunk most. A Google önjáró autóit éles üzemben tesztelik, az űrpiacot rég nem az állami szervek uralják, az űrturizmus fellendülése pedig már a küszöbön áll. Mégis, még ma sem hisszük el, milyen hihetetlen ütemben váltjuk valóra a korábban csak sci-fikből ismert, valóságtól elrugaszkodottnak hitt technológiákat. Ma már a mesterséges intelligencia is olyan szinten jár, hogy például a Georgiai Műszaki Egyetem diákjainak fel sem tűnt, öt hónapig valójában egy robot látta el a tanársegédi feladatokat.

20150708google-auto.jpg

A Google 2017-re tervezi kifejleszteni saját, teljesen önjáró autóját

Forrás: Google
Ez azért elég ijesztően hangzik, és jogosan veti fel a kérdést: veszélyessé válhat az emberiségre a mesterséges intelligencia? Többet fog-e ártani a társadalomnak, mint amennyit használ? A Forbes cikke szerint már nem az a kérdés, hogy túl fogja-e szárnyalni önmagát a technológia, hanem az, hogy mikor.

Az egész felvetés nagyon hasonlít egy Terminátor-féle jövőképhez, ahol a SkyNet öntudatra ébred, és saját teremtői ellen fordul. Valójában senki sem tudja garantálni, hogy nem fog valami nagyon hasonló történni, ha ilyen ütemben folytatódik a technológiai fejlődés.



Az első szintű robotok korát éljük
Nehéz pontosan megfogalmazni, mi is az a mesterséges intelligencia, hol végződik a hagyományos értelemben vett számítógép, és hol kezdődik az annál több. Hernád István, egy kanadai és egy brit egyetemen is tevékenykedő idegkutató meghatározása szerint négy szintre lehet osztani az intelligens gépek fejlettségét annak alapján, hogy azok hogyan teljesítenének a gépek intelligenciájának mérésére kidolgozott Turing-teszten. Jelenleg az első szinten tartunk: a robot még nem képes teljes egészében helyettesíteni egy embert – ez már

a negyedik szintet jelentené, ami azt feltételezné, hogy a robotok már érzelmekkel is rendelkeznek.

A robot azonban az emberi lét bizonyos aspektusait már az első szinten is képes magára venni: a korábban említett Google önjáró autó például ugyanúgy halad, mintha ember vezetné.

Az IBM Watson nevű szuperszámítógépére már biztosan lehet mondani, hogy mesterséges intelligenciát használ – angol nyelven nagyon hatékonyan, szinte emberszerűen lehet vele kommunikálni, és már 2011-ben képes volt legyőzni egy emberi játékost a Jeopardy nevű kvízjátékban. A Watson alapjait képező szoftver napjainkban orvosi diagnózisok felállításában és a kezelések hatékonyságának felismerésében segíti az orvosoknat, hozzájárulva ahhoz, hogy az emberi tényezőkből adódó hibák kiküszöbölhetővé váljanak.

20140131deep-learning-mesterseges-intelligencia-robot.jpg

Egy robot funkcióit mutatja be a Future Robot alkalmazottja a 2014-es CES-en

Forrás: AFP/Britta Pedersen

A Google DeepMind nevű cége minden várakozást felülmúlva olyan szoftvert fejlesztett ki, amely idén gó játékban legyőzte az éppen aktuális bajnokot. Az AlphaGo szoftver mind az öt játszmában megverte a háromszoros európai góbajnok Fan Huit anélkül, hogy bármilyen előnyt kapott volna. Eddig azt hitték, hogy erre a fejlesztésre még legalább 10-15 évet várni kell – a gó ugyanis a táblás játékok igazi rekordere, és bár első ránézésre egyszerűnek tűnik, de olyan mélységeket rejt, hogy mesterré váláshoz sok-sok év tanulás és gyakorlás szükséges. Nem lehet tehát csakis szisztematikusan, alapvető logaritmusok alapján megnyerni benne egy játszmát – ehhez helyzetfelismerés, előrelátás, tervezés, logika szükséges, amely, úgy tűnik, már mind az AlphaGo sajátja.

Tanítjuk tanulni a robotjainkat
A sort egyébként nagyon hosszú ideig lehetne még folytatni: a gépagyak egyre több játékban és logikai feladatban veszik át a vezetést felettünk. Mindez az úgynevezett gépi mély tanulásnak, azaz deep machine learningnek köszönhető. A módszer lényege nem az, hogy a kutatók mesterségesen látják el a létrehozott szoftvert az ismeretekkel – sokkal inkább megtanítják gondolkodni, tanulni, majd összekapcsolják egy nagyobb adatbázissal, amelyből táplálkozhat. Csak az alapvető képességekkel látják el a gépet, amely az alapoktól elkezdi megszerezni ismereteit, és egyre okosabb lesz. Ez már igazi sci-fi: alkalmazkodóképes robotok győzedelmeskednek az ember felett.

20140131deep-learning-mesterseges-intelligencia-robot1.jpg

Az ICub nevű humanoid robot egy labdát próbál megfogni

Forrás: AFP/Philippe Desmazes

A deep learning alapjait már az 1960-as években ismerték, de nagyon sokáig olyan csekély mennyiségű adattal tudtak csak megbirkózni a számítógépek, hogy nem volt érdemes foglalkozni az egésszel. Csak néhány éve értük el azt a technológiai fejlettséget, hogy megérje időt, energiát és pénzt fektetni egy ilyen projektbe. Ma a Facebook, a Google vagy a Microsoft rendszereiben hatalmas adatmennyiségek raktározódnak, a szerverparkok és szuperszámítógépek pedig nagy feldolgozókapacitást nyújtanak. Nem véletlen tehát, hogy pontosan a Facebook és a Google „vásárolta meg” a mesterséges intelligencia témájában úttörőnek számító kutatókat: a Facebook csapatához a New York Egyetem professzora, Yann LeCun csatlakozott, a Google pedig a Kanadai Egyetem professzorát, Geoffrey Hintont alkalmazza félállásban.

A haditechnológiában is fejlődünk

Míg ezek a fejlesztések jól, és legfőképpen ártalmatlanul hangzanak (csak játszik az a gép, mi baj lenne belőle?), ne felejtsük el, hogy ezeket a szuperszámítógépeket egyenesen a négyes szint felé vezetjük – ami azt jelenti, hogy a gépeknek, ha minden ilyen ütemben folytatódik, már az érezelmei is kialakulnak. Hasonló tudatuk lesz, mint nekünk, és a logikai okokon kívül érzelmi döntéseket is hozhatnak majd, ami tökéletes recept lehet arra, hogy katasztrófa felé terelgessük a világot. Ha pedig olyan gépeket sikerülne létrehoznunk, amelyek képesek lennének önmagukat fejleszteni, tényleg elveszíthetnénk az irányítást felettük.

20160415dron-hadsereg.jpg

A haderő már régóta használ drónokat

Forrás: RIA Novosti/Vitaliy Ankov

Kevesen kötjük össze a gó-játékos és Jeopardyban remekelő robotokat a haditechnológiával, pedig ide is egyre inkább beszivárognak a robotok. A hadviselés 2001-ben fordult hatalmasat, amikor az iraki háborúban drónokat kezdtek használni, az Egyesült Államok kormánya pedig egyre több pénzt öl olyan projektekbe, amik még inkább

önjáró, öntudatos robotokat fejlesztenek a hadsereg számára.

Ennek persze támadhatatlan előnyei vannak: minél több robotot küldenek a harcvonalra, annál kevesebb emberi élet kerül veszélybe – csakhogy ez egyben azt is jelenti, hogy megtanítjuk a gépeket harcolni, háborúzni, pusztítani. Mi történik, ha kikerülnek a kezeink közül, és öntudatra ébrednek?

A legnagyobb és legutolsó nagy dobás
A Föld legnagyobb technológiai és fizikai zsenijei sem túl bizakodóak az elképesztő mértékű fejlődés láttán. Stephen Hawking például arra figyelmeztetett mindenkit, hogy könnyen lehet: mindez az emberi faj végét jelentheti. 2014-ben az Independentnek azt írta: „a potenciális előnyök hatalmasak – minden, amit a civilizációnk elért, az emberi intelligenciának köszönhető. Nem tudjuk, mi fog történni, ha ezt sokszorosítjuk, felerősítjük azokkal az eszközökkel, amelyeket a mesterséges intelligencia ad nekünk, de a háború, betegség és szegénység megszüntetése mindenki listáján az első helyen szerepelne. A mesterséges intelligencia megszületése az emberiség legnagyobb eseménye lehetne. Sajnos, talán az egyik utolsó eseménye is, ha nem tanuljuk meg, hogyan kerüljük el a kockázatokat.”

20140909stephen-hawking.jpg

Stephen Hawking is óvatosságra int

Forrás: AFP/Evert Elzinga

Hawking is az egyre fejlődő hadi-robottechnológiát emeli ki fő veszélyforrásként, amelyeket az ENSZ már most be szeretne tiltatni. Senki nem tudja, mi fog következni, főleg, ha ilyen tempóban zajlik a fejlesztés. „Nincs olyan fizikai szabály, amely kimondaná, hogy a részecskék nem csoportosulhatnak egy sokkal hatékonyabb elrendezésben, mint ahogyan az emberi agyban állnak” –tette hozzá a világhírű fizikus, nem túl bizakodóan. A BBC-nek adott interjújában azt is kifejtette, hogy az igazi probléma a fejlődésből adódik: míg az embereket köti a lassú, évszázados-évezredes evolúció, addig a gépek, ha egyszer elszakadnak tőlünk, elképesztő mértékben tudják majd fejleszteni saját magukat.

Bill Gates, a Microsoft atyja is azt nyilatkozta a helyzetről, hogy nem érti, miért nem aggódik mindenki a hihetetlenül gyors fejlődés miatt.

20150827bill-gates-microsoft.jpg

Bill Gates-t ugyancsak aggasztja az önjáróvá vált mesterséges intelligencia kialakulásának veszélye

Forrás: AFP/Bertrand Guay

Egy Redditen zajló kérdezz-felelek során kifejtette, hogy a mesterséges intelligenciát ellenzők táborát erősíti. „A gépek először nem lesznek túl intelligensek, viszont rengeteg munkát elvégeznek helyettünk. Ez egy pozitív dolog, ha ügyesen kezeljük. Néhány évtizeddel később azonban az MI már olyan erős lesz, hogy problémát jelenthet az emberiség számára.”

Az ellenőrzött mesterséges intelligencia
Elon Musk feltaláló, mérnök és vállalkozó 2014-ben azt nyilatkozta, hogy a mesterséges intelligencia fejlesztése olyan, mintha „démont idéznénk”, éppen ezért 2015 januárjában 10 millió dollárt adományozott 37 különböző kutatóprojektnek, hogy derítsék ki a mesterséges intelligencia előretörésének minél több veszélyét, hogy minél hatékonyabban tudjanak fellépni a potenciálisan pusztító erők megalkotása ellen.

20151104tesla-aims-to-build-its1.jpg

Elon Musk a Tesla vezetője is

Forrás: Imaginechina/Xiao Xiao
A milliárdos feltaláló azért vállalkozott erre a feladatra, mert úgy gondolja, hogy a nyilvánosság vajmi keveset tud arról, hol tart most a mesterséges intelligencia, és hogy ez mekkora veszélyekkel járhat az emberiségre nézve. A Vanity Fair egy csúcstalálkozóján elmondta, hogy „a legtöbb ember nem érti, milyen gyorsan fejlődik a gépek intelligenciája – sokkal gyorsabban, mint ahogy még azt a Szilícium-völgyben is elképzelik”.

Ha már ennyi nagy elme gondolja úgy, hogy nagyon nagy baj lehet a mesterséges intelligencia rohamos fejlődése, valószínűleg hihetünk nekik. Azt még egyelőre nem tudni, hogy pontosan milyen formában jelenthet problémát, ha a gépeink érezni és gondolkodni kezdenek, tőlünk teljesen függetlenül. Musk szerint elsősorban akkor lehet katasztrófa az egészből, ha majd a robotok önmaguk fejlesztésére, és egyszerűen csak önmagukra koncentrálnak – ekkor az emberiséget úgy érzékelhetik, mint egyszerű levélszemetet, amit egyszerűbb gyorsan kiirtani, mint sokáig nézegetni. Éppen ezért 2015 decemberében bejelentette, hogy hozzájárul az OpenAI nevű kutatóintézet létrehozásához, amelynek az lesz a célja, hogy olyan mesterséges intelligenciát hozzon létre, amelyből az emberiség profitálhat, de amelyet biztos ellenőrzés alatt tarthatunk. A nyílt, másolható kutatásokkal dolgozó intézetben Musk mellett még az Y Combinator startup elnöke, Sam Altman, a Linkedin egyik alapítója, Reid Hoffmann, a PayPal részalapítója, Peter Thiel, az Infosys, az Amazon Web Services (az Amazon felhőszolgáltatásokért felelős leányvállalata), valamint a Stripe korábbi műszaki vezérigazgatója, Greg Brockman is.részt vállalt. A projekt 2016 januárjában indult el mindössze kilenc kutatóval.

20160518skynetterminator-mesterseges-intelligencia.jpg

A SkyNet öntudatra ébredése nincs is olyan messze, mint gondolnánk

Forrás: AFP / Jewel Samad

Persze, az OpenAI keretein belül is előbb-utóbb nehéz lesz úgy dolgozni, hogy ne csússzanak félre a dolgok, de még mindig ez a legjobb megoldás arra, hogy viszonylag irányított módon, biztonságosan fejlesszük a mesterséges intelligenciát. Egy ilyen intézet létrejötte azonban nem garantálja, hogy máshol majd nem fogják legyártani a Terminátor egy igen korai elődjét, ami végül öntudatra ébred, és legfőbb célja az lesz, hogy leigázza az emberiséget. Egyetlen dolgot tehetünk: reménykedhetünk, hogy addigra megértjük, milyen veszélyes is a mesterséges intelligencia, ha felelőtlenül bánunk vele, és nem húzogatjuk tovább az oroszlán bajszát.
origo

mesterseges inteligencia.jpg
 
Ha jobban belegondolsz, belátható időn belül (a mi életünkben) nem valósulhat meg az, hogy alapból minden autó önvezető módban megy és a manuális mód opcionális. Sok oka van, hirtelen biztos nem jut eszembe minden érv, de azért néhány: a jelenlegi géppark (kb. 100 millió autó) töredéke alakítható csak át önvezetőre, vagyis ott van egy rakás még műúködő autó, melyenek a tulajdonosai csórók, nincs pénz új autóra, és nem alakítható a régi fostalicska, amit vezet (fejlett országokban is probléma ez, de főleg a szegényebb kontinensek, Afrika, Dél-Ázsia, Dél-Amerika). Törvény ezért sem írhatja elő soha, hogy kötelező önvezetőt használni, mert abból lázadás lenne. És ugye ott vannak a motorok, kerékpárok. Számukra külön utakat építenének? Mert az elég gáz, hogy megy a robotautó-had és a motorosok szokás szerint "betartva" a kreszt cikáznak köztük. A másik, hogy az önvezetők csak akkor működnek (a sok-sok teszt alapján még akkor sem 100%-osan), ha ideális körülmények vannak. Napos idő, száraz, gyönyörűen felfestett kátyúmentes (és egyenes) utak, kitáblázva stb. Tehát olyan országokban, ahol az autópálya 2x8 sávos, és mindent behálóz. Kelet-európában (vagy a korábban emlegetett kontinenseket) ennek mekkora az esélye? Vannak itt szép számmal országok (az EU-ban is), ahol még autópálya, sőt normális út sincs, és még divat a nagyforgalmú utakon lovaskocsival settenkedni éjjel a szajréval.

Gépek ugyan nem gyorshajtanak, de sokkal könyebb zavarba hozni őket, mint az embert, mert nem lehet egy bizonyos határon túl érzékelőket telepíteni egy autóba és a programokat is állandóan javítani, frissíteni kell, minden esetleges lyukat befoltozni, ami meg örökös probléma, tehát sosem lehet azt mondani, hogy "kész, itt a tökéletes, végleges verzió". Amikor nem csak egy Winfos hibáiról van szó, hanem az életekről van szó, akkor nem tudom, ki az, akinek a marketing el tud adni egy félkész rendszert abban az autóban. Jó, ez naív kérdés, mert nagyon sokan bedőlnek már a Teslának is, aztán a youtube tele van videókkal, mikor még úgy is necces a szitu, hogy a sofőr fogja a kormányt.

Már az csökkentette a balestek számát, hogy az autókban van vészfékasszisztens, távkövető cruise control (tempomat), különböző sávváltó és parkoló segédletek, de maga a vezetés megmaradt az ember kezében.

Az meg megint csak érdekes lenne, hogy azok a luxusautókat gyártó cégek, akik kifejezetten a vezetés örömére koncentrálnak és a létük függ ettől, miként reagálnának arra (és a klientúrájuk), hogy az ember nem vezetheti többet a gépeiket...
Hát érdemes megnézni a kisfilmet amit a BMW csinált a Vision Next 100 tanulmányautóval. De ahogy látom egy másik témában írtad is, hogy egyes államok elsőként lesznek akik bevezetik. Én sem arra gondoltam és szerintem senki, hogy bolygószerte.
Visszatérve a vezetés élményére, majd lesznek pályák ott játszhatnak az emberek vagy underground, de akkor már vissza is kanyarodtunk a Pusztítóhoz :)
 
Hát érdemes megnézni a kisfilmet amit a BMW csinált a Vision Next 100 tanulmányautóval. De ahogy látom egy másik témában írtad is, hogy egyes államok elsőként lesznek akik bevezetik. Én sem arra gondoltam és szerintem senki, hogy bolygószerte.
Visszatérve a vezetés élményére, majd lesznek pályák ott játszhatnak az emberek vagy underground, de akkor már vissza is kanyarodtunk a Pusztítóhoz :)

Biztos, hogy nem lesz radikális tiltás a vezetéssel kapcsolatban. Ez csak úgy működhet, ha az emberre bízzák, hogy mikor kapcsolja önvezető üzemmódba az autót. Az, amit a Google akar, hogy ne legyen kormány meg pedálok az autókban, teljesen nonszensz.
 
Biztos, hogy nem lesz radikális tiltás a vezetéssel kapcsolatban. Ez csak úgy működhet, ha az emberre bízzák, hogy mikor kapcsolja önvezető üzemmódba az autót. Az, amit a Google akar, hogy ne legyen kormány meg pedálok az autókban, teljesen nonszensz.

Kuplungpedál sincs az automatákban :)
Majd meglátjuk, bár én az teljesen automata világot már nem szeretném megérni. - vagy akkor elmegyek remetének a hegyekbe egy barlangban meg csinálok majd egy jó kis pályát - jöhettek, aki akar :)
 
Kuplungpedál sincs az automatákban :)
Majd meglátjuk, bár én az teljesen automata világot már nem szeretném megérni. - vagy akkor elmegyek remetének a hegyekbe egy barlangban meg csinálok majd egy jó kis pályát - jöhettek, aki akar :)

Már látom a fényes jövőt.
A lázadók csapata bepattant egy kormányozható manuális sebváltós autóba, kövér gázzal lemegy a folyópartra, ott halat fog, jól besózza, fatűzön megsüti, sörrel leöblíti, majd teljesen manuális módon szexel egyet :)
 
Már látom a fényes jövőt.
A lázadók csapata bepattant egy kormányozható manuális sebváltós autóba, kövér gázzal lemegy a folyópartra, ott halat fog, jól besózza, fatűzön megsüti, sörrel leöblíti, majd teljesen manuális módon szexel egyet :)
....ne, de közben megjönnek az újvilág rendfenntartó erői, akik véget vetnek az illegális elavult mulatozásnak :DDD
Mondom én jöttök ti még az én barlangomba.. :D
 
Kuplungpedál sincs az automatákban :)
Majd meglátjuk, bár én az teljesen automata világot már nem szeretném megérni. - vagy akkor elmegyek remetének a hegyekbe egy barlangban meg csinálok majd egy jó kis pályát - jöhettek, aki akar :)
Kuplungpedál? Ki beszél itt kuplung pedálról, okostojás? A Google agyréme szerint se gáz, se fék, se kormány! Teccik érteni??? Zéró kontrol az embernek, legyen az hackelős eltérítés, rendszerfagyás, kékhalál az OP-rendszerben, bármi. Aztán az első halálestnél feleszmél a sok meghülyült zombi és elkezdik a felelőst kutatni. A gép? A számítógép fejlesztő? Az autó gyártója? Vagy ki?
 
Kuplungpedál? Ki beszél itt kuplung pedálról, okostojás? A Google agyréme szerint se gáz, se fék, se kormány! Teccik érteni??? Zéró kontrol az embernek, legyen az hackelős eltérítés, rendszerfagyás, kékhalál az OP-rendszerben, bármi. Aztán az első halálestnél feleszmél a sok meghülyült zombi és elkezdik a felelőst kutatni. A gép? A számítógép fejlesztő? Az autó gyártója? Vagy ki?
Szerintem mielőtt okoskodnál és hőzöngnél, el kéne gondolkodnod, hogy a mai autókat ki vezeti. Mert a gép konvertálja át az akaratot, vagy nem, ha meghibásodott. A lovat is az ember hajtja. Meddig? Amíg a lóra át tudja vinni az akaratát, ha nem akkor ott a baleset, okostojás.
Eszem megáll. Itt is ekkora létszámban is ilyen kevés az értelmes ember, aki nem a frusztrációját akarja máson kitombolni, ráadásul bután?
 
Szerintem mielőtt okoskodnál és hőzöngnél, el kéne gondolkodnod, hogy a mai autókat ki vezeti. Mert a gép konvertálja át az akaratot, vagy nem, ha meghibásodott. A lovat is az ember hajtja. Meddig? Amíg a lóra át tudja vinni az akaratát, ha nem akkor ott a baleset, okostojás.
Eszem megáll. Itt is ekkora létszámban is ilyen kevés az értelmes ember, aki nem a frusztrációját akarja máson kitombolni, ráadásul bután?
Hoppá. Ezt most miért kaptam? Előbb írsz egy triviális dolgot, hogy az automata váltónak nincs kuplungpedálja, most meg lehülyézel... Okké. Te nyertél.
 

Hírdetőink

kmtv.ca

kmtv.ca

Friss profil üzenetek

poptya wrote on Melitta's profile.
Kedves Melitta:)
Most találtam egy cikket, talán érdemesnek találod, hogy kikerüljön a Hírek közé:)
További szép napot és jó egészséget:)
horzsa wrote on Syncmaster's profile.
Kedves Syncmaster,
a hozzszólásokban találtam, hogy korábban felrakta '70-es évek legendás autó kvartett paklijait. '73 kiadást és a '75-t 'és a '77-t
Sajnos a datás linkek már nem működnek, fel tudná tenni esetleg valahova újra?
üdv:
Éva
Keresem Daniella steel fordulópont című könyvet. Kérem akinek meg van ossza meg velem. Köszönöm.
oxenden oxenden wrote on Jekatyerina68's profile.
Keresem a következő könyvet letölthető formában, vagy megvételre . Tudna valki segíteni? Köszönöm.
Címe:
Sírjak vagy nevessek ? Az emberi agy boldogságra hangolható.
vorosmart wrote on bsilvi's profile.
Köszönöm a fordítást, szeretem ezt a sorozatot.

Statisztikák

Témák
36,895
Üzenet
4,493,663
Tagok
596,186
Legújabb tagunk
Melcsi12345
Oldal tetejére