Incroyable. En un week-end, grâce à vous tous et toutes, le projet REMI est lancé.
J’ai appris à créer un widget de don paypal, à câbler une alerte sur mon mobile, et cela est assez surréaliste quand vous promenez votre fille un dimanche et que le téléphone vibre toutes les heures pour indiquer de nouveaux dons !
24 personnes ont soutenu financièrement le projet ce week-end, soit via le widget paypal, soit par paiement paypal direct, soit par vitement bancaire (je leur ai envoyé une photo de RIB suite aux mails échangés). Je vais faire un post et un espace dédié pour les faire tous apparaître.
Le montant total collecté est de 605 euros via paypal auquels s’ajoutent 150 euros de virement bancaire en cours et 40 euros en liquide qui vont m’être donnés de la main à la main à Rennes, soit un total de 795 euros.
Incroyable !
J’ai donc passé la soirée à réfléchir et à passer au peigne fin toutes les plateformes de robotique humanoïdes existantes et offrant le meilleur potentiel pour le projet. En effet, on peut désormais viser plus haut que le Robonova d’occasion prévu au départ.
Après beaucoup d’hésitations j’ai décidé de passer directement à la vitesse supérieure avec des plateformes de robotique humanoides éducatives et de nouvelle génération. L’avantage : des moteurs “intelligents” disposant de leur propre processeur avec retour d’informations, une puissance et une précision diabolique, des connecteurs pour coder en C, la possibilité d’externaliser l’intelligence du robot vers un ordinateur et/ou le cloud, des mouvements fluides et rapides, la possibilité d’ajouter des capteurs tiers, une entrée infrarouge pour le pilotage sans fil, la possibilité d’ajouter du zigbee (contrôle externe jusqu’à 200m), la plus grande autonomie possible en batterie, du code documenté, etc.
J’ai sélectionné deux plateformes de ce type : Le robobuilder, et le Bioloid comprehensive kit de Robotis (Corée). Les deux sont des monstres à monter soit-même et qui permettent de réaliser non pas seulement un humanoide, mais plein de robots différents de par leur approche modulaire car chaque brique est un objet intelligent en réseau avec les autres briques… Par expérience je sais que la puissance et la précision des moteurs d’un humanoïde sont des points critiques. Après visionnage de très nombreuses vidéos j’ai choisi le Bioloid Comprehensive Kit. Si tout va bien dans 9 heures j’aurai remporté une enchère sur ebay, et si le prix n’augmente pas trop, je mettrai le reste de la somme collectée dans le kit développé par Robosavvy (UK) permettant de le transformer en Bioloid Premium Kit. Je mettrai la différence de ma poche et le projet disposera non pas d’un Robonova d’occasion, mais de l’équivalent d’un Bioloid Premium Kit à 1200 dollars pour moins de 800 euros investis…
Voici la bête en action (en train de grimper à un mur :-) :
Premières tâches du projet REMI :
- Mur des donateurs avec crédits et remerciements - Remporter le Bioloid Comprehensive Kit aux enchères ce jour (fin des enchères ce soir) - Si le montant le permet (résultat des enchères actuelles) , commande d’un Comprehensive to premium upgrade kit chez Robosavvy. - Créer les canaux rapides de diffusion d’information sur le projet - Installation de la parcelle virtuelle - Recherche d’alliés pour avoir un visuel pour le projet
Cela fait longtemps que ça me trotte dans la tête, cela fait deux mois que je guette le robot pour faire ce projet… et c’est maintenant ou jamais.
Alors je reprends ce Tumblr et après tout : pourquoi pas…
Le projet REMI :
Ceux qui me connaissent savent que depuis des années je réalise des projets ni numériques ni physiques, ni réels, ni virtuels, mais dans un mélange des deux. Depuis quelques mois je me suis intéressé non seulement au numérique et aux mondes virtuels mais aussi aux robots pour une raison simple : pour un robot muni de capteurs, qu’un objet tangible se trouve devant lui ou qu’un objet “virtuel” se trouve devant lui, pas de différence.
REMI comme Robot Enabled for Mixed Interaction - Et comme Remi Sussan, un auteur dont je suis fan.
L’idée :
Si le robot tangible (physique) a son “ombre numérique” avec sa partie en mondes virtuels (modélisée en monde type second life ou opensim) , il va capter à la fois ce qui se passe par ses capteurs dans la partie physique et virtuelle d’un même espace. Car pour lui il n’y aura qu’un seul espace. Un espace en réalité mixte, quoi.
Application simple : le robot est dans une pièce réelle et dans la même pièce réalisée en 3D. Les deux sont cablées sur sa perception. Si des avatars, des personnes ou des objets le “contactent” il réagit dans les deux espaces. Typiquement, il va par exemple si un avatar passe à côté de lui dans un monde virtuel (où il est modélisé en 3D), et qu’il y a des personnes dans la pièce “physique”, faire le même geste en direction des avatars et des personnes et déclencher une passerelle vidéo sur une TV virtuelle d’un côté, et réelle de l’autre. Les personnes seront donc mises en relation (avatars et visiteurs physiques) car pour le robot, pas de différence. Il y a plein d’autres exemples possibles.
Seulement… J’ai détourné plein de robots, mais pour que l’émotion et le langage gestuel du robot passe il me faut un véritable humanoide programmable. J’ai retapé un robophilo d’occasion mais il tient à peine debout . Je guette donc depuis deux mois une occasion avec des alertes notamment sur ebay, ET LA VOILA : un robonova de chez HITEC de seconde main à moins de 400 euros (alors que neuf il coûte quand même entre 650 et 700 euros !). L’ENCHÈRE EST CLOSE CE SOIR LE 26 JANVIER DANS 20 MN.
Mise à jour du 26 janvier 22h45 :
ECHEC : le widget paypal n’a pas marché dans les délais, et je n’ai pu lever la somme (en 10 minutes, c’était un peu court). Donc étant têtu comme trois mulets je relance l’opération sur le kit neuf à monter, en prenant le temps qu’il faudra.
D’un côté je ne peux pas acheter ce robot (je n’en ai pas les moyens) de l’autre, je sais que l’occasion ne se représentera pas de sitôt. (Mise à jour à 22h45: l’occasion vient de me passer sous le nez, donc :-)
Donc pour la première fois(mise à jour : pour la deuxième fois dans la même soirée) je lance une opération de don en m’engageant :
- à bloguer tout le projet réalisé avec ce robot étape par étape
- à mettre tous les noms des donateurs en décoration dans la room virtuelle et dans les espaces réels de démo du projet en racontant l’histoire de ce lancement de prototypage improbable.
- à hurler de joie, partager les sources du code développé, et réaliser au moins la preuve du concept opérationnel en câblant un espace de réalité mixte et des personnes et avatars sur le robot.
- à montrer mon… si la somme est atteinte.
Donc merci de faire passer car dans 30 mn il sera trop tard pour atteindre le don (je fais ce billet à l’arrache en même temps que le widget paypal). Mise à jour : ok, ok, l’arrache n’a pas bien marché…
Le widget est embarquable… A 50-100 personnes cela doit être possible.
Si vous êtes sur téléphone mobile en train de lire ce texte, vous ne voyez pas le widget de don paypal, il suffit d’adresser vos dons compris entre 5 ET 50 euros à la boîte huggy(at)netcourrier.com à l’aide de l’application Iphone, Android, Blackberry ou du site mobile.
Sinon, tant pis, j’aurai tenté le coup : en avant REMI !
Ajout du dimanche 29 janvier : 260 euros de dons à ce jour + une promesse de don en main propre lundi soit au total 280 euros en 48 heures : vous êtes super ! On va y arriver !
Mise à jour du lundi 30 janvier : 22 dons, 715 euros ! Je stoppe la collecte, je supprime le widger de don et je lance le projet !
Progress in the project : physical objects -> virtual environment
Yesterday i made several progress in the prototyping of the project.
> physical tags and grid configuration
- I have defined one touchatag rfid tag for each 10X10 cm square on a 4x5 grid. I used a pen and wrote on each tag the corresponding square coordinates from 1-1 to 4-5.
- I used the touchatag online tag dashboard configuration (who makes able to say what url must be targeted for one or several rfid tags) to link all the coordinates tags directly to a local Mysql/php server url with a php script.
> Registering of the tags in the database with their id’s (hash)
- i just put the tags on the reader, then the distant server make my browser call the local php page wich is registering the hash (unique id, very long) in the mysql database. I did that for each position tag corresponding to a physical square in my 5x4 grid.
- I made the same for the objects rfid tags : a register local php script launched by the rfid reader and registering the objects hash id’s on the object table. Then i manually completed the table to write “sphere”, “cube”, “table”,”chair”,”bed”. These are the basic objects for my tests.
> Other php scripts : clean.php and scan.php
- I created another script to clean the objects position. This script corresponds to a webpage called when i put a particular object on the rfid reader (a yugi yoh card). When i put this object on the reader, all the “link” table is dropped. It “cleans” all the positions.
- The most complicated script is the scan.php script. It is registering the position of objects on the grid. Depending of physical mouvements, this script must not take some informations like coordinate tag+coordinate tag, but only object tag+coordinate tag,and must try to eliminate basic “data noise”. We don’t care about the details for the moment : we must prove the main concept and it works :-)
> positions.php to be requested from virtual world
- the last script is a php page made to be requested from OpenSim (free version of Second Life) by the Rezzer Object. The rezzer object is a cube in the virtual world, requesting the position of objects and then building them (rezzing) at the right coordinates.
- At this stade and after local test of the positions registration in the database, i uploaded the php scripts on a webserver and also the database. Then i linked in one click all the tags on the new distant url for the php scripts (clean.php, scan.php), using touchatag online dashboard.
- I created then a last php script writing the combinations of objects and positions in a string : object name - x - y,object name, x,y, etc. This is the page wich is requested by the rezzer : positions.php.
> In the virtual world
- Now in Opensim i connected my avatar and built a cube. I created a lsl script in the cube to call the positions.php webpage. When clicked, the cube requests the positions.php page and launches a lsl parsing script. Depending of the string obtained, it builds the objects at the right positions. I built also a biggest object reflecting the physical grid (a big square of 20x20m in the virtual world), to verify easily the positions of virtual objects.
> Tests/Results
As you can see in the pictures i made my tests with familiar simple objects and it seems to work :-)
Tagged cube (i found a rubiks :-)
I put the cube on the reader and then put it on the physical tagged board with the rfid reader.
I did the same with the sphere. Rfid tags are sticked on objects and in the board. Coordonnates 1-2 and 2-1.
Inworld, virtual objects are appearing : Coordonnates 1-2 and 2-1 :-)
> Next steps :
- Make the object disappear in the virtual world when i put the “cleaner” object on the rfid reader in the physical world : all the object must listen to a channel and disappear at the “destroy” signal.
- Make the cube request the database each 5 seconds. For the moment i click the cube and then it requests the web and “rezzes” the objects.
- Build a fine physical board, modify the reader.
- Find something else than my wife objects because she is bored with that :-)
But the concept works : i can put the object in the physical world, click on the cube, and i walk in the generated environment immediatly with my avatar !
En voici donc trois, dans lesquels l’espace est conçu comme unifié (et non augmenté), et qui relèvent d’une réalité partagée par l’échange entre personnes baignant indistinctement dans les signes dit “physiques” ou “numériques”.
Imaginez que vous l’utilisiez : où seriez-vous ? En tout cas vous n’auriez aucun doute sur le fait d’être au même endroit dans la même réalité :)
——————————————————————————————
APRES LES COSTAUDS, EXEMPLE DE PROJET “GAZELLE”
Et pour conserver une bonne dose de système D, et de confiance dans la débrouille et le prototypage artisanal, je vous propose de jeter un oeil sur cette tentative de partage très basique réalisée dans le cadre du festival des transmusicales de Rennes en 2009 avec les moyens du bord (wiimote, caméra, second life, plasma 16/9).
Ce qui est intéressant de mon point de vue ce sont les réactions de l’ usager débutant et le fait que vous pouvez expérimenter avec les moyens du bord. L’espace mixte réalisé au final était unifié et fut partagé par des personnes pendant trois jours.
Je suis preneur des nombreux et certainement meilleurs exemples que vous pouvez m’envoyer :)
Je ne suis pas un scientifique, ni un expert en sciences humaines.
Mais depuis 2002 il se trouve que j’ai pu collaborer à de nombreux projets utilisant les technologies de l’information pour informer, interagir, montrer et partager des visions, en utilisant les technologies du web, du 3D, du mobile, avec des personnes aussi bien en présenciel qu’à distance.
Or, là l’heure où plus d’un milliard d’humains sont interconnectés, où la réalité augmentée arrive dans nos vies quotidiennes et où il est possible à chacun de créer gratuitement un espace dans un monde virtuel, je reste très largement sur ma faim concernant la définition de la réalité mixte.
Une dualité bien confortable entre réel et virtuel
Les approches techniques reposent sur une séparation trop nette de la réalité physique et de la réalité virtuelle, les classifications reposant sur des degrés d’influence de l’une sur l’autre, où le positionnement des utilisateurs dans les dispositifs techniques d’Interfaces Hommes Machines.
Voir cet exemple (par ailleurs très intéressant) :
(Thèse de M.Chalon)
Or de mon point de vue c’est oublier quelques fondamentaux sur la réalité elle-même, la considérant comme existant de manière identique et distincte de ceux qui la vivent, objectivée (en quelque sorte, idéale :-). Ne confondons pas matière et réalité.
Notre relation à la réalité ne se résume pas à un simple chaos de sensations corporelles. Si notre conscience peut s’y situer s’y trouve c’est par des mécanismes et grâce des codes. Des symboles, des représentations, des signes, des mécanismes psycho-cognitifs.
Importance du partage de l’expérience
La meilleure façon d’être certain de ne pas rêver les yeux éveillés est de demander à d’autres “s’ils voient aussi” la même chose. Même altérée par les points de vue de ceux qui s’y trouvent, la réalité doit pouvoir être partagée.
Le rouge n’existe pas et n’a pas de signification si je ne l’ai pas distingué, appris à le nommer. Il est un stimulis dégagé de l’infinité des stimulis sensoriels auquels je suis soumis. Pourtant, la plupart des lecteurs qui comprennent le français et lisent ces lignes peuvent fermer les yeux et visualiser cette couleur derrière leurs paupières.
Réalité des environnements dits “virtuels”
Si la réalité peut être vécue en tant que réalité c’est bien parce que j’en ai une expérience, expérience rendue possible par mes sens, mes émotions, et mes représentations. Si je peux la partager avec d’autres et interagir avec elle, c’est grâce à l’articulation des signes qui me permet de planifier des actes. On aborder ici l’idée de “langages” permettant le partage et l’action et qui peuvent être très primaires (comportement systématique des fourmis avec les phéromones) et produire collectivement des résultats complexes.
En conséquence, un environnement simulé et plastique dans lequel j’ai des sensations, des émotions, des représentations et des codes permettant partage et action, acquière une forme de réalité. D’autant plus forte que je peux là aussi vérifier que je ne rêve pas éveillé en proposant à ceux qui partagent cette expérience “s’ils voient aussi” la même chose. C’est ce type d’environnement qui qualifie pour moi “le monde virtuel”.
Désir et action
Sur le plan personnel, qu’est-ce qui nous fait agir dans la réalité ? Les décisions n’ont elle pas le désir comme mobile ? En quoi ce désir serait-il plus absent de moi dans un monde virtuel ? En quoi les interactions avec ma conscience auraient-elles moins d’influence sur mes décisions, suivant que je sois connecté ou pas ?
En ce sens l’expérience de ma conscience avec l’environnement physique ou numérique (en fait ma conscience dans sa réalité) a une incidence permanente sur mes actes, mon environnement, les autres. Il en va de même depuis toujours avec la fiction livresque où l’émotion vehiculée par le chant d’un griot : leur influence et leur force est-elle “réelle”? Pour moi, oui.
C’est pourquoi l’idée d’une réalité englobant un tout objectif, et limitée à un espace-temps à quatre dimensions, se nie elle-même (elle est imaginaire, s’enseigne, permet d’élaborer des systèmes de pensée et de planifier des actions).
Réalité augmentée
Le développement actuel extrèmement rapide des premières applications grand-public de la réalité augmentée permet de donner à voir et d’interagir avec des éléments virtuels placés dans l’espace tel que perçu habituellement: la rue, la maison, autour de moi. En ce sens la réalité augmentée apporte la preuve que nous pouvons parfaitement au niveau de notre conscience éduquée dans un système de représentations être dans un environnement mêlant notre sytème de lecture et d’interaction avec le monde physique et de nouveaux codes de lectures, d’expression et d’interactions récemment appris dans les pratiques numériques (la carte, le point, chatter, lancer la vidéo…).
Cependant le terme réalité augmentée reste binaire : il s’agit de la matière (réalité) avec en quelque sorte un calque de nouveaux signes (“augmentée”).
Le terme de réalité augmentée est donc réducteur car cette vision des choses n’ouvre pas le champ à des expérimentations basées sur une conception de la réalité en tant qu’expérience complète (sensorielle, émotionnelle, partagée et relationnelle, conceptuelle et en terme d’action). Il faut rompre avec l’opposition des signes physiques et numériques pour concevoir des espaces mixtes offrant une expérience complète.
La remarquable application layar illustre parfaitement l’augmentation in situ et en mobilité de cette “réalité”, par et pour les usagers.
La réalité mixte ou hybride
La réalité mixte serait plutôt pour moi l’acceptation de la réalité en tant qu’expérience à la fois sensorielle, emotionnelle, relationnelle et signifiée, en mettant au même niveau les signes et codes utilisés par les consciences des utilisateurs, qu’ils émanent d’une source numérique ou non.
Je peux reconnaître une forme et des jeux de fonctionnalités d’un assemblage de matière et dire c’est une chaise. Mon apprentissage l’a intégré dans ma réalité. Il est plus facile d’utiliser ce modèle reconnaissable dans un monde virtuel : on y trouve beaucoup de chaises. L’expérience de la chaise y sera cependant encore bien différente mais une partie de ses codes (m’asseoir près ou loin de vous, manifester une posture ou une attention sur un travail collaboratif) est immédiatement réutilisable.
Un espace de réalité mixte serait un espace conçu pour que ceux qui s’y trouvent physiquement et virtuellement puissent partager leurs signes (parler par exemple), des stimulis sensoriels, la perception d’objets, une capacité d’action sur un environnement commun.
En ce sens la réalité augmentée doit rencontrer les mondes virtuels, inévitablement. Il ne manque dans les systèmes actuellement développés sur mobiles ni la localisation des photographies,des vidéos, des ressources, des personnes. Il y manque les personnes elle-même partageant de manière synchrone un environnement commun, parce qu’elle sont physiquement et virtuellement dans la même rue par exemple.
Cet espace est pas dans le monde physique, ni dans le monde virtuel, mais dans les deux. L’expérience est partagée non pas par la simulation technique, mais par l’échange d’un contexte d’attention et d’émotion partagé, (un débat, un concert, une action…).
Cette vision de la réalité mixte se marie parfaitement avec les nouveaux usages de l’internet. De fait, nous sommes déjà dans une “expérience-réalité” mixte ou hybride. Nous ne l’avons jamais quittée…
Alors fonçons : concevons désormais des espaces d’expérimentations adaptés à cette réalité :-)
Mono-user age is finished. Information and interaction age is here. The idea is to very simply use existing tools to create an immersive environment, redesigned through interactions between people being both in a physical and in a virtual space.
I am not a designer, not an engineer, not a developper. But i know that with actual online knowledge ressources and contacts, a proof of concept can be done.
User case
We are taking the case of persons trying to design the best space experience (for In Real Life or virtual space) : they make drafts, plans, and then sometimes test it with end users, redesign it, and finally build in a a larger scale for customers or users.
You can now modelize a space experience in multi-user virtual environment like second life, but it means that you know how to use it. You could also share a vision in real time of multiple designs of a space without having technical skills using augmented reality and a camera (for example with Augmented Reality tags on a city map, with 3d models corresponding to the tags, of with items tags in a house plan). But you share just an image…not a space experience.
The idea is to design an immersive space on the fly by just moving tagged physical objects, and to share and exchange in this generated space in order to experience and improve it. No mouse, no technical skills for the user of the design tool.
As you put objects on the table,you can immediatly see the result of the physical place where the objects where put through the vision of a 3d space on the screen, at a human scale. More, people being connected in the virtual space can use voice to speak with you and other people and tell if is it cool : they can sit on the chairs, look at the windows, walk in the space. You can also move you camera in the generated space, talk and use the physical table to adjust the space again.
Howto
RFID tags, screen, sound :
The idea to prove this user case is to use a plastic or thin wood plane, 12 to 20 touchatags rfid tags, 1, 12 or 20 readers, at least 1 connected PC, a LCD or plasma screen, a wiimote, an ambiance microphone and speakers.
The table :
The table is in fact divided in 12x12 cm squares. In each square you have a reader, or better, as touchatag can send 2 tag id’s, a touchatag. We need a minimal distance between the squares in order to catch only one object tag when it is near the center of a square.
The objects :
Physical miniatures (like Barbie toys, or miniatures of buildings) have a touchatag, or are on a carboard , wich has a touchatag.
The 3D models and environment :
We use second life or open sim as a virtual world platform (voice works in opensim now). The screen is connected to a computer running the virtual world. An basic avatar is connected in the virtual space and the screen show and play images and sounds in the virtual place from the point of vue of this avatar (we call that commonly camera avatar). The default point of view if at the vertical and the center of the virtual place.
The web :
We use mysql to record the position of the objects, simply by calling urls updating the database with 2 informations at this step : position (eg tag 1 to 20) and item id.
In the virtual world we have created an invisible cube containing the 3d objects corresponding to the physical miniatures (we call that a “rezzer”). For the test we could begin with 20 objects.
The physical space :
We can invite people both physically (in real space), and virtually (through twitter, blogs, teleport links) to share the experience. We shall also use video if we can (as ‘Trans realites mixtes’ project).
Process :
When you put an object on the real table, if a reader (or tag) is under each square, we use touchatag technology to send an updating url via the computer (eg http://url?pos=12&tag_id=7).
This url corresponds to a webpage with a php script that update the mysql table with the current position of the physical objects,and the object ID.
The “rezzer” located in the virtual place connects himself to the mysql database every 2 seconds. When an object id and its coordonnates are detected, he “materializes” (rezzes) the 3D object in the virtual grid in the virtual space.
Effect :
Avatars and real persons see immediatly the objects appearing on the screen and in the virtual space. But it is not just an image : connected persons, and avatar camera can sit on a chair, bump in a wall, have an immersive and shared experience on the fly. You design an environment and user experience more that just a plan or a vision.
The reactions of the avatars can be hear through the speakers and the avatars can hear the ppl in real life through the microphone, using the voice channel of second life or opensim. You can move the objects physically in order to update the space and experience, with touchatag tagged real items.
If you are experienced in moving an avatar, you can change as you want the point of view seen in the virtual space (or use my wiimote solution).
Low cost solution : instead of having one reader per square, we could put tags in squares. When the objects are physically on the table, we can use another object with the reader inside to “scan” the table by a mouvement (like a tennis racquet horizontally moved on the objects), to record the physical position, send it, and so, create on the fly the 3D shared space.
And after :
You can imagine to mix this with cityplans and building miniatures (urbanism), use augmented reality tags instead of miniatures, invent methods to send objects orientation, demonstrate 3D vizualisation of data from localized captors by moving them physically on a map, and so on.
