Tiengemeten 131, 1181 CS Amstelveen |
+31614034299
info@2tango.org | research@2tango.org

Innovatiefonds Amstelveen

To upgrade being us together

Beste Sicco en Juryleden van het Innovatiefonds van Amstelveen. Hierbij onze antwoorden voor het InnovatieFonds, het leek ons handig hier een website pagina voor te gebruiken, mede omdat jullie een demo wilde zien! Inhoudsopgave:
  • Preview
  • Financiering
  • Kosten aanpassing
  • Aangepaste begroting en dekking
  • Scenario voor bij de Demo
  • Demo aansluitend op het Scenario
Family Signs Prototype voor Amstelveen Innovatiefonds

–        Preview: kunnen we ‘het alvast zien’.

o   We begrijpen dat omdat het gaat om nieuwe technologie die nog nergens wordt toegepast, dat het wenselijk is voor de juryleden om nog ‘meer te zien’ dan bij onze vorige presentatie. We hebben 2 belangrijke ‘innovatieve technologieën’ die we zelf ontwikkelen: Een ‘universele vertaler van fysieke gebaren in overdrachtelijke boodschappen’, een ‘context-duidende AI (Mini.AI) die de gebruiker ondersteund in conversaties’. Daarnaast hebben we een stapel voorbereidende onderzoeken (vaak met doelgroep, soms met werkgevers en betrokkenen) die ons ondersteunen in het realiseren van ‘Signs’, een praktische gebarentaal voor families en werkteams.  Deze drie componenten ‘werken samen’ in de realisatie van onze tools.  

o   Hierom hebben we besloten om voor de juryleden van het Innovatiefonds een ‘klikbare demo’ te maken van de belangrijkste tool die meer visueel maakt hoe het werkt, die bedoeld is voor (neurodiverse) families. We hebben hier ook een scenario-verhaal bij geschreven (dat is een beschrijving van een veelvoorkomende situatie waarbij de tool ondersteund.). We zouden deze ook kunnen opleveren voor de variant die ondersteund bij communiceren op het werk, maar gezien de korte tijd die we hebben, en de interesse van de adviesgroep bij de presentatie, lijkt het voorbeeld van ‘Family Signs’ het beste aan te sluiten. We wilden eerst een ‘hele mooie versie’ maken, maar gezien de tijd leveren we versie die ‘helder genoeg’ zou mogen zijn als preview. We zullen onze smartwatch app uitbrengen in Maart, maar aangezien in Januari besloten wordt, is dit ‘net te vroeg’.

–        Hoe komen we aan de overige financiering:

o   We hebben een subsidie aanvrager die ons ondersteund bij het schrijven van subsidies voor technologische aspecten, op dit moment hebben we een subsidie-aanvraag lopen bij Nuts/Ohra voor dit bedrag voor de doorontwikkeling. Als hier geen erkenning uit komt, zijn er contacten bij het ASML diversiteitsfonds (we zijn reeds op bezoek geweest) en bij het Mooiste Contact Fonds (een fonds van het KPN, dat reeds enthousiast is over onze technologie). Ook MIT is een regeling die we hierbij in overweging hebben. Hierbij gaat het om delen die niet gedekt worden door deze aanvraag.

o   Ook is het belangrijk om te beseffen dat de vraag ‘hoe we aan de rest komen’ ondergeschikt is aan onze passie en verlangen om dit project te laten slagen, en de bereidheid om zo ver te gaan als nodig om deze tool te realiseren voor de generaties van mensen als wij die nu opgroeien. We zien het als een morele verplichting om niet te stoppen voordat we 10.000 nederlanders (of 2500 gekoppelde families) hebben kunnen helpen met onze tool. Er is geen exit strategie. Ik en mijn team zijn bereid om op elke deur aan te kloppen, en om elke tip serieus te nemen die kan leiden naar vooruitgang, de reden dat we bij het Innovatiefonds zijn beland is omdat een medewerker ons hierover tipten en we dit vonden passen bij ons. We merken daarin ook, dat we genoeg durven en angsten ondergeschikt zijn aan onze wil dit te laten slagen voor iedereen in Nederland, en dat goodwil en hulp van sympathisanten ons vaak aan tafel brengt met besluiters.

–        Kosten

Wij hebben een berekening gemaakt gebaseerd op 100% (Neurodiversity Foundation) +25% (2Tango eigen bijdrage aan het project). Dit bleek een foutieve insteek (dit moet 75% – 25% zijn), en is hieronder gecorrigeerd. Tevens hebben we kleine veranderingen gemaakt (we hebben 2000 euro van het salaris afgehaald, en dit vertaald in 1000 euro meer voor locatiekosten, 500 euro meer voor freelancerkosten, 200 meer voor bank gerelateerde kosten en 300 voor onvoorziene kosten. Dit stelt ons in staat de voorbereidende periode iets langer te maken, zodat de kwaliteit van testen daarmee ook stijgt.

–        Begroting Testcentrum voor Assistive Tech:

  •         Salaris medewerkers:                                          37.400
  •         Vergoedingen vrijwilligers, testers, freelancers:   5500
  •         Locatiekosten:                                                        3000
  •         Bankkosten:                                                            500
  •         Promotiebanner en flyers                                     190
  •         Accountancy kosten:                                             1210
  •         Reiskostenbudget:                                                 400
  •         Centrum aankleding en beeldwerken:           1500
  •         Onvoorzien                                                              300

 Totaal 50000

–        Dekkingsplan

  • Innovatiefonds:                                                       37.500
  • 2Tango investering                                                 12.500

Totaal 50.000

–        Conclusie

We hopen dat jullie onze aanvraag bij het Innovatie Fonds steunen. Bij elke mogelijke vraag, komen wij graag langs om te rapporteren of uit te leggen, maar hopen dat deze informatie al genoeg is voor uw steun aan een neurodiverse, inclusieve toekomst waarin de ongehoorden beter ‘gehoord’ en begrepen mogen worden. 

Family Signs Prototype voor Amstelveen Innovatiefonds

Let op: U kunt klikken door deze demo als een echte gebruiker, de ‘pagina nummers’ corresponderen met de uitleg aan de rechterzijde, maar deze worden op veel schermgroottes helaas niet getoond.

Uitleg per scherm
Scenario: Neurodiverse Familie in Amstelveen

In Amstelveen leven vele Amstelveners die minder makkelijk verbaal kunnen communiceren, door fysieke beperking, een taal ontwikkelingsachterstand, door een andere neuro-ontwikkeling of door een communicatie ‘achterstand die geen label hoeft te hebben’. Dit beperkt veel mensen in hun werkmogelijkheden maar ook op school en thuis. Zo ook Sophia, zij is de dochter van Marieke, leven in de van Heuven Goedhartlaan en zij komt elke dag thuis na een drukke en voor haar uitputtende dag op school. Marieke was op de nieuwjaarsborrel waar zij haar burgemeester Tjapko Poppema hoorde zeggen: naar mensen die ongehoord zijn, moet beter geluisterd worden. Omdat Sophia ook moeite heeft met praten en overleggen, besloot Marieke om haar communicatiemethode aan te passen op wat werkt voor haar dochter, zo ook op deze willekeurige donderdag middag waarin dit scenario zich afspeelt: 

  1. (eerste scherm) Sofie komt thuis. Moeder vraagt: Hoe voel je je? Wat ziet u op het scherm: U ziet niets op het scherm. Als Sophia overprikkeld is, vind ze praten ook moeilijker en komt niet meer uit haar woorden, of wordt ze er plotseling boos van. In dergelijke situaties heeft ze het nodig dat ze ook op andere manieren dan de verbale manier kan communiceren. Dat is vaak ook echt nodig, want Sophia vind het, net als de meeste autistische kinderen, moeilijk om met uitgesproken woorden om hulp te vragen of emoties te benoemen. Ze klikt daarom op members, waar haar familieleden en leraar in staan.
  2. Sophia kiest ‘mama’ die al voorgesteld staat, omdat ze de meeste berichten naar Marieke stuurt. Ze had dit ook kunnen doen door een bepaald gebaar te maken.
  3. Sofie kiest nu wat voor type bericht ze wilt sturen en beweegt haar hand in een ronde beweging. De ‘Signs Remote’ pikt dit signaal op als het meest lijkend op het gebaar voor het woord ‘gevoel’, en selecteert deze in het bericht. Als zij de keyboard op haar scherm opent, en klikt op een oog gaat ‘de signing techniek in de telefoon/watch hiervoor direct aan’, elke beweging die zij maakt vanaf het moment dat zij het icoon aanraakt wordt geëvalueerd door onze AI, en gecontroleerd op dit een gebaar-woord is. In Sophia’s scherm zie je ook een visualisatie van de bewegingsdata aan de onderkant.
  4. Sofie wil delen met Marieke hoe ze zich voelt, dit zorgt ervoor dat de meest gebruikte opties, in het onderste deel van het scherm verschijnt. Sofie beweegt haar hand van links naar rechts, wat geidentificeerd wordt door de ‘Signs Remote’ als ‘stress of een gevoel van onrust’. ‘Stress wordt geselecteerd als het beste passende woord. Signs bestaat voor een deel uit versimpelde gebaar-woorden, waar je snel zinnen mee kan ‘bouwen’, daarbij weer ondersteund door onze AI. Als Sophia een ander ‘oog-icoon’ had aangetikt, kan zij gelijk op die andere manier (bijvoorbeeld tapping, of morse-code) communiceren, zonder een ander hulpmiddel. Bij een ander gebaar, waren er andere voorstellen voor vervolgwoorden en zinnen. Voor Sophia is deze manier net zo gewoon als middelen als whatsapp is voor kinderen die moeiteloos communiceren. Dit doen wij ook bewust, omdat makkelijke integratie met het dagelijks leven en dagelijks gebruik, een centrale succesfactor is binnen onze visie.
  5. De bewegingen die Sofie maakt met haar telefoon of smartwatch worden (via o.a. gyro data) opgenomen en geïnterpreteerd naar gebaar-woorden (Gevoel en Stress). Signs Messenger geeft informatie ‘gevoel’ en ‘stress’ aan de Signs Assistant. Deze genereert de zinnen die het beste aansluit bij de ‘conversatietaak’: het ‘overdragen van gevoel aan een ander’. Door op het textwolkje te drukken, worden voorbeelden gegeven. De ‘meest waarschijnlijke zin’ is weer gebaseerd op ‘prediction’ technologie die kan duiden wat je wilt zeggen, binnen een kader van ‘effectiviteit’. Onze ‘voorspelling technologie’ is gebaseerd op coöperatieve conversatie, en is daarin meer gefocussed om de ‘taak’ in de conversatie succesvol uit te voeren. Het uiten van je eigen emotie naar de ander toe, of het begrijpen van het stressniveau van de ander, zijn ook ‘conversatie taken’.
  6. U ziet op het scherm dat de 2 gebaarde woorden vertaald worden in een vollediger zin die makkelijker te begrijpen is voor Marieke. De meest effectieve zinnen die aansluiten bij de conversatietaak ‘het overdragen van emoties’ worden voorgesteld aan Sofie. Zij kan haar moeder de zin laten zien, het versturen via de telefoon, of een gebaar maken dat Mariekes telefoon of smartwatch vertaalt naar haar voorkeursmethode van boodschappen ontvangen. In Mariekes geval is dit berichten ontvangen als leesbare textzin op haar eigen scherm. Sofie klikt de bovenste zin als beste boodschap.
  7. De boodschap voor Marieke is nu klaar, en wordt verstuurd. Op het scherm van Marieke en Sophia wordt nu de zin getoond die Sophia heeft gebaard, (op Sophias scherm inclusief de 2 gebaar-woorden), Marieke weet nu wat Sophia wilt zeggen. In Sophia’s scherm zie je ook een visualisatie van de bewegingsdata aan de onderkant.
  8. De boodschap wordt nu verstuurd naar Marieke. Om ervoor te zorgen dat het gesprek ook niet ’te snel’ gaat voor Sofie, krijgt ze een paar seconden bij elk bericht voordat het definitief verstuurd wordt.  Wat ziet u op het scherm: U ziet een scherm (deze versie is gebaseerd op de smartphone, in februari komt een versie uit voor smartwatches) waar het standaard keyboard (het ‘text-schrijf’ stuk op de telefoon) zit. In het keyboard zitten ook extra knoppen, de cirkels met de ‘ogen’ (het Signs logo in verschillende kleuren). Elk van deze ogen staat voor een specifieke manier om te kunnen communiceren. De ‘grijsgekleurde/witgekleurde’ oog-iconen, zijn de methodes die op dat moment ook gebruikt kunnen worden. Sofie heeft bijvoorbeeld Signing aanstaan, maar kan ook ’tappen’, en typen zit er standaard ook in. Door verschillende vormen van communicatie aan te bieden, kan zij een communicatiemethode kiezen die op dat moment ‘haalbaar’ voor haar is.
  9. De counter telt af, en levert het bericht op Mariekes telefoon. Als Marieke de tool langer gebruikt, leert ze ook redelijk snel om deze gebaren te herkennen zonder digitale ondersteuning. In onze zelf-ontwikkelde gebarentaal zijn er namelijk drastisch veel minder woorden dan in doven-gebarentalen (denk aan 120 gebaren ipv 15.000), waardoor het makkelijker wordt voor moeders als Marieke, maar ook leraren, coaches en toekomstige werkgevers, om deze ook te kunnen herkennen zonder de AI. Hier zit ook een fout-marge en leercurve in, waardoor de digitale vertaling, aansturing of ondersteuning cruciaal is in de eerste 2 gebruikersjaren. Onze ‘foutmarge’ is door beperking van het aantal woorden en tracking van de gebruiker veel kleiner, waardoor het een realistische taal is om dagelijks te gebruiken.
  10. De ‘kosten’ die we hiermee hebben is dat er een bewuste beperking in zit in welke type conversaties je kan hebben: ‘signen’ is niet gericht op ‘gebabbel’, maar op woorden en zinnen die de ‘conversatie taak’ ondersteunen. Dit is dan ook de ‘richting’ van ons communicatie systeem, ervoor zorgen dat er ‘effectief gecommuniceerd’ kan worden, waardoor zelf-regie verbeterd, en de oefen mogelijkheden voor communicatie met een lage drempel, veelvuldiger worden. Hierbij is het voor sommige gebruikers de ultieme communicatietool die zij levenslang willen gebruiken, voor andere is dit een ‘leer en integratietool’ waardoor zij beperkte communicatievermogen verbeteren en alternatieve scenarios begrijpen van hoe conversaties kunnen verlopen.
  11. Nu het systeem de gebruiker ruimte geeft om zijn boodschap nog aan te passen, is het belangrijk dat u het volgende inzie: Er zijn drie modussen in de app. De manier om van de ene ‘modus’ van de app (‘Signs Remote’, om gebaren te maken en die laten interpreteren), te schakelen naar een andere modus (Signs Messenger, die boodschappen kan versturen) en Assistant (die voorstellen en voorspellingen kan doen over wat er gezegd wilt worden), dat gebeurt simpelweg door het oog-icoon te verschuiven (swipen) van links naar recht en vice versa. Door gebruik te maken van gebruiksvriendelijke UX oplossingen, sluit de tool beter aan bij het leven dat in deze tijd geleefd wordt. In dit scherm zie u dat de modus veranderd op het moment dat Marieke het bericht ontvangt en wil antwoorden. Zij schuift de cirkel met haar profielfoto opzij, en komt daardoor direct in het scherm waarin zij antwoorden kan geven.
  12. Moeder vraagt met woorden: Wat heb je nodig? Sofie lijkt overprikkeld, en kan moeilijk luisteren. U ziet niets op het scherm. Dit is omdat Marieke de verbale communicatie methode gebruikt op een moment dat het voor Sophia beperkt mogelijk is om op die manier effectieve communicatie te kunnen doen op de verbale manier. Marieke heeft nu een aantal mogelijkheden. Als ze haar profielfoto swiped naar rechts, kan ze Signen met Sophia, en als ze swiped naar onderen, wordt het gesprek digitaal ondersteund en aangestuurd door het systeem. Hier kiest ze voor, door haar profielfoto naar beneden te trekken, op het scherm waardoor een multiple-choice vraag wordt voorgesteld, evenals de meest favoriete antwoorden van deze familie. Dit zijn deels antwoorden, vragen en opties die Marie heeft op kunnen geven, en deels zijn ze ingeprogrammeerd, aansluitend bij de inzichten over cooperatieve taal en data onderzoek bij onze gebruikers naar hun meest effectieve conversaties.
  13. Marieke heeft gekozen om ondersteund te worden, en het systeem creëert de meest passende vraag en follow-up om de ander te ondersteunen, binnen de context van de conversatietaak. Bij negatieve contexten, wordt zo eerder voorgesteld om te achterhalen hoe hulp gegeven kan worden door de ander, en wordt een lijstje voorgesteld van mogelijkheden. Uit onderzoek blijkt dat dit een minder stressvol en haalbaarder alternatief is dan de creatieve en verbale last van de oplossing of uitting bedenken,overwegen en bepraten, direct als conversatietaak bij de ander te leggen. Dit is ook waar het in veel gesprekken, voor communicatief beperkte individuen, het vaakste verkeerd gaan: stressverhoging in combinatie met extra bovengemiddeld moeilijke conversatie taken die per direct moeten worden opgelost. Signen geeft iets meer ‘vrijheid’, dan ‘digitaal ondersteund worden’. Als Marieke de gebaren ‘hulp’ en ‘geven’ had gesigned (door eerst naar rechts te swipen, en vervolgens de gebaren met telefoon of smartwatch te maken), was er een vergelijkbare opvolging gekomen op het scherm. Maar de gebaren ‘hulp’ + ‘ontvangen’ zou de berekent worden als; ‘Dochter, ik zou graag je hulp ergens mee krijgen.’, en vervolgens zou hier aan multiple choice optie aan toegevoegd worden (zoals: 1) Ja, ik kan nu helpen, 2) Ja, ik wil helpen, maar nu niet, 3) Nee, ik kan niet helpen, 4) Nee, ik kan nog niet zeggen of ik kan helpen). Bij een gekozen optie ‘Ja ik wil helpen, maar nu niet’, zou weer een multiple choice volgen met de meest logische opties binnen dit profiel, bijvoorbeeld ‘Als ik klaar ben met mijn taak, over een uur precies, om een specifiek tijdstip, op het moment dat ik je kan helpen kom ik naar je toe’. Bij het antwoord ‘op een specifiek tijdstip’ wordt dit weer opgevolgd met een vervolgvraag over wat het tijdstip is. Op die manier worden vragen en antwoorden steeds duidelijker, zonder dat de communicatief beperkte persoon wordt overladen met bovengemiddeld moeilijke spreektaken, op een moment waarop de persoon dat verbaliseren eigenlijk niet aankan.
  14. Sofie ziet: ‘Dochter, hoe kan ik je helpen’ op haar scherm. Samen met de 4 opties die de moeder het vaakste heeft voorgesteld in het verleden: ‘we gaan even wandelen samen buiten’, ‘ik laat je even alleen op je kamer’, ‘we gaan ergens over praten’, ‘ik wil hier later over praten’ U ziet hier dat nadat op het scherm de vertaalde of digitaal aangereikte zin getoond wordt, er een multiple choice optie bijkomt om het antwoord verder te specificeren. De opties die Marieke hiermee toont zijn deels op basis van voorspelling, deels zijn ze een preset. Wij ontwikkelen en verfijnen die preset van antwoorden op basis van onderzoeken naar gesprekssituaties, uit het Assistive Tech testcentrum en uit feedback rondes. Wij willen op termijn ouders ook mogelijkheden geven dergelijke ‘vervolg-opties’ te personaliseren voor hun familie (ditzelfde geld voor werkgevers). Ook zijn er ‘familie-specifieke gebaren en zinnen’ mogelijk, die alleen gelden voor de familie zelf, maar die niet ‘vertaald’ kunnen worden door andere gebruikers. Hiermee ontstaat er een ‘geheime gebarentaal voor elke familie’, wat niet alleen ‘leuk’ is, maar ook veiligheid toevoegt aan het dagelijks gebruik. Zo hebben we gemerkt dat sommige gebruikers een wens hebben dat bepaalde woorden minder ‘opvallend’ zijn voor buitenstaanders. Denk hierbij aan dat Sophia wilt aangeven aan Marieke dat ze de verjaardag bij oma zich niet goed voelt. Dat zijn boodschappen die je discreet wilt kunnen uiten, zonder dat oma vraagt waarom je je duim naar beneden doet. Om dit goed uit te werken willen we hier veel tijd aan besteden in het Assistive Tech Center, en willen we hier uitgebreide testen mee uitvoeren.
  15. Sophia voelt zich nu te druk om te kunnen praten, en tikt de optie aan “ik wil hier later over praten”. Sophia tikt haar favoriete optie aan. Ze hoeft er niets over uit te leggen. Ze hoeft er geen ruzie over te maken of boos te worden of te ontsnappen naar een stille plek. En de moeder hoeft zich ook niet miskend of genegeerd te voelen. Marieke begrijpt dat Sophia nu ze uit school komt nog wat ‘te druk’ is, en eerst wil ontspannen, voordat ze weer kan interacteren met Marieke. Nu ze weet dat het daar aan ligt, vindt ze het ook prima, want eigenlijk wil Marieke altijd het beste voor haar kind.
Directe link naar Family Signs Prototype voor Amstelveen Innovatiefonds