Draw-select reality

Interesting new interaction paradigm seems to be emerging: draw-select reality. As Foursquare introduced the possibility to draw the area on the map for filtering places.

And now there is the new DJI Phantom 4 drone that makes it possible to drawselect a person to follow.


This is not only good news because the drone is really doing what drones should be doing: fly themselves. It is also an interesting interaction concept how it let you intuitively mark things in the real world to connect to functions in a digital space. Just like draw-selecting within Foursquare.  I can imagine this will be more and more a common way to interact as the tools we use gets more intelligent.

A new multimodal conversation language

In this interesting overview on the move to conversational commerce by Chris Messina he touches also an interesting aspect on the new conversational language that we will have with our services based on task-based command lines. The example how to type in commands in Slack conversations with the slash and how the new app Peach is using a sub-language to communicate all kind of special short-cut messaging. Agree with Chris that we will learn in this first phase towards the conversational interactions to have these kind of dialogues.

In my trends-for-2016 post I shared the expectation that we will start to get used to have a dialogue with the products we use, and have more tangible interactions at the same time. Let’s elaborate a bit on that. These conversations will be a possible format to make an interoperability between the different services and products we use. We had the short hype of intelligent agents at the end of the last century, it was to early then and technical not ready missing the big data for instance. It will happen now. And the special behaviour will be the connecting of the different services. That goes two ways.

We will have the different services connected thru our own conversations, but we will also enhance our interactions with the services with more than one channel. Multimodal combining screen interactions with speaking, chats and physical experiences. As Chris mentioned the benefit of the knowledge of a person in a chatroom to verify payments, so is adding the physical contact points with the pure digital ones. That is the context for the learning dialogue.

A really interesting development. With a challenge to design these conversations using rule-based principles and machine learning support, applying it to both digital and the physical interactions. With an open setup for people to create their own language.


2016; capitalizing on the platforms

As always I like to look forward to the new year. Starting with a look back at the predictions of last year. I have to say that I was pretty accurate last year. Check it yourself.

So to sum up I think the home will be the main playground of the digital developments in 2015, with the internet of daily life as silent revolution. Impacting some of our habits and devices we use. The move to private messaging communities will have big impact and next to that we could be really preparing for a new sensing communication language that will however fly later.

More than ever the first seeds were planted for the things to happen later, like in 2016. As the messaging as platform, a lot is said on that in 2015 and is happening big time in China. It will definitely execute in 2016.

The new platforms for our smart homes as silent revolution is also something that happened with a couple of players. Samsung got into the market with the acquisition of SmartThings, the new Apple TV as platform can be seen as a move into the home, Amazon Echo products, and of course NEST platform from Google. That one is the most interesting to watch. It is clear that Google is trying to enter the home to collect user data there. Nothing secret there anymore. The big question is what they will do with the data. Expect more products and services connected to the platform to generate data. Leveraging the platform as service to – for instance – advertisers will follow later (2017). I am very interested if Google will make some serious steps in making the new invisible design patterns for data driven real life products at the next I/O.

Apple is also always interesting to take as reference for predictions. Everyone predicting the future talks on Artificial Intelligence as the thing to go big in 2016. Apple will try to play an important role. The way they build in more helping functionality in iOS building on your data is paving the way for more serious AI driven services. We will also see the first tangible products that use the SDK for making the product smart. If the SDK is opened up of course to external use…
The same goes for haptics. I was right last year that the integration of haptics in Apple Watch is important but very basic. With the roll-out of 3D touch to the phone and laptop will continue this year. Only if there is a serious installed base we can expect to open up the possibilities of haptic to use for real functions instead of the limited possibilities now. Expect that with iOS10.

Twitter is in decline. Not falling yet in 2016 but if they do not find a new purpose it will be hard in the years after. It moved very rapidly to Instagram, and Snapchat.
Snapchat did grow strong in 2015 indeed, even more than expected. Will continue to do so and is more and more adopted with broader audiences. There will be more discussion on the business model of the service. A connection can be made with VR. 2015 was not yet the year for VR breakthrough but certainly the first steps are taken to have a bigger impact in 2016. Snapchat is showing how to augment real video with animations. It is acclaimed they storing the visual information of our faces as valuable data. VR concepts could very well leverage that. Expect some examples on that.

A lot more can be said on 2016 and beyond, but I keep it to this. The platforms created in 2015 will start to collect our behavioral data and will offering helpful services as tradeoff. We will start to get used to have a dialogue with the products we use, and have more tangible interactions at the same time.
I hope we will remain gaining more awareness on the systems we live in and the consequences our behavior has. Just using the P word without offering actionable tools is not useful. We will see new forms of design thinking on systems (like design for agency, meta design, playful), good signposts for some increased literacy in 2016.

Have a great 2016!

The end of the internet as we know it

We are approaching a new year and there will be a lot of predictions on what the coming year will bring. I expect I will do something like that too again.
But it is also interesting to think and wonder on the bigger changes, longer changes sometimes. This morning I read an interview with long time respected Bruce Sterling in a Dutch magazine that sparked me to think on the state of the internet. The role is shifting as it remains a source for the things we do, one of the most important ones still.

We growing however in an functional internet. The internet as a medium on it’s own will have less importance as people are moving their communication to other places. And media consumption shifts to services captured in app on the devices we wear close to us or use for entertainment activities. Mobile phones, wearables, smart screens, all information is captured in streams. The internet facilitates the connectivity and is the management platform.

The functional internet is also part of our physical world. The connected things are all about connective tangible interactions with our cloud services. The internet facilitates here a new type of things that become adaptive to the context and use, I wrote on that before. The internet has not a presence on its own here, it is the back-end of the functions we use.

The functional internet is also in the messaging platforms, the closed communication services we use more and more as replacement for interaction with our peers, but is also the new media platform for brands to communicate with consumers.

The shift to a proprietary internet where the closed services becoming bigger as the the open internet is not a new development, it has been discussed before with the grow of Facebook. We see now the change emerge on all levels of our lives and the things we do. The combination of the digitised physical experience and the messaging platforms will change the character of products we use.
Our perception of our self is linked to that. As the reality is already in place that software is eating our world – everything is becoming software, the follow up is that we are as humans becoming eaten by the software too as our digital and physical presences is melted together.

An simple example is how a daily vlogger like Casey Neistat are now living their lives as a movie, and do real life decoupage where reality and representation are mixed up.
In that sense we will also deal with the dangers, the data leaks and manipulations of our behaviour, by developing a new literacy that is focused on data agency.

So in the end is the functional internet something we will be embedding in our being.
The end of the internet as we know it is complete as we have absorbed the characteristics of the hyper connectivity in all we do and are.

Battle of the platforms part 2 is about the seams

A couple of years ago we discussed the battle of the platforms with big players dividing the pie on Internet. The big 4: Google, Apple, Facebook, with Amazon as outsider providing the ecosystem for making. An interesting aspect was (is) the proprietizing of the internet, the closed systems. This has only become more apparent in the way we use the internet for instance with the closed chat systems like Whatsapp.

With the internet of things is one of the lines of discussion always on standards. Can we create a new standard that has the same status as the internet itself has. That is now far from true, all kind of different alliances are defining communication standards for the specific data communication in IoT. In a blogpoast Martin Spindler shares some good thoughts. The article from Theo Priestley he mentions shows a matrix with the big players and the alliances.

It is interesting that in this overview the big four are not mentioned. That could very well be because the parties are more active on a manufacturing level than a servicelevel, it is all on the embedded layer. But maybe there is also a part that is overlooked. The big question Priestley also touches: do we really move to one standard that functions as a new internet in a world of connected things (life)? Fragmentation is a much more likely scenario. Proposition driven systems that create seams for interoperability. Services will work together if we choose to connect the APIs.

We will live in our own default ecosystem more and more, and connect services from others based on exchanges of data in the moment. Ephemeral data as Maciej Ceglowski describes. The real war of the platforms will move to the seams. The question is how the seams will be controlled. With new design challenges.

Invisible apps paving way for watch life

Product Hunt is an important trendwatcher for developments in digital services via the new apps that are becoming popular. Yesterday they marked ‘the invisible app’ as a clear new trend. Ryan Hoover of Product Hunt made a list that consists of embedded functionality like Katch that record Meerkat live streams to Youtube, Magic as a SMS Siri and bots like Blippybot finding GIFs for you, and Clara scheduling your appointments.

At the Hackbattle of The Next Web we saw also this happen in some of the most interesting concepts that were presented. This was mainly triggered by the use of one of the companies providing SMS and voice APIs: Nexmo.

I think it is an important trend too. Not new per se. We talk about bots as service for a longer time, but it will flourish with the introduction of the new generation smart watches and other wearables. I talked on the ‘Notifaction Model’ for the new apps that are build on the context and sensor driven notification layer as binder of the services. See the presentation below for instance.


We are just at te beginning of our automated and artificial intelligence driven service layer we will use for daytime tasks. These invisible apps are the first iteration with simple tasks, but will grow in much smarter enhancements that we will control via our wearable devices.

Melting of human and technology to helpful companion

[in Dutch]

Parallel aan het doorbreken van de wearable als nieuwe vorm van interactiemiddel verandert onze houding met technologie. Met het dichter op de huid kruipen (of soms zelf in de huid) van de devices krijgen we een hechtere relatie. Het device is niet meer het losse gereedschap dat we bij ons dragen en gebruiken als we het nodig hebben, het wordt een verlengstuk van ons lichaam. Daarin gaan we technologie ook anders inzetten, als hulpzaam maatje waar we een directe relatie mee hebben en samen optrekken.

Deze ontwikkeling was sterk terug te vinden op afgelopen SXSW conferentie, vaak een graadmeter van welke sluimerende trends op doorbreken staan. Zo doet Aduén Darriba Frederiks onderzoek naar sociale aanraking op afstand via de TaSST sleeve. In zijn onderzoek is fascinerend hoe je het gevoel van aanraking opvangt en omzet naar een simulatie van een menselijke interactie. In zijn presentatie bij de Firestarters Haptic Revolutions avond liet hij zien hoe deze versmelting wordt bereikt via het toevoegen van structuur en beweging. Je moet diep kijken naar de eigenschappen van de menselijke huid om het gevoel te benaderen.

Bij de Myo vertalen ze spierbewegingen naar computer interacties. Het levert een soort van samensmelting van mens en computer zonder dat we daarmee cyborgs worden, is de stellige overtuiging van Stephen Lake van Thalmic Labs, de maker van de band. Het is interessant dat de Myo een omgekeerd haptic interaction-principe hanteert. Het is niet de technologie die aanraking als communicatie gebruikt, maar haptisch gedrag is input voor de technologie geworden. Uiteraard geeft de band feedback waardoor een dialoog zou kunnen ontstaan, zeker als de band meer gedifferentieerde haptisch gevoel geeft.
De Myo is een magisch device maar blijkt het nog wel lastig te vinden om bij een mens goed aansluiting te vinden. Als je geluk hebt leert het je gedrag in een paar uur kennen, maar het kan ook langer duren. Je kunt er op wachten dat het leren van de technologie van ons persoonlijk fysieke karakter een belangrijk onderdeel wordt hoe we de technologie gebruiken.

 Het gebied dat zich bezig houdt met de verregaande versmelting tussen menselijke en technologische interacties heet social robotics. Bij die versmelting van mens en technologie wordt een partnership aangegaan met de technologie. Onze relatie is anders, en we zullen ons gedrag langzaam aanpassen aan de aanwezigheid van deze nieuwe hulpjes. Net zoals we dat bijvoorbeeld hebben gedaan met de telefoon.

Associate professor bij MIT Cynthia Breazeal gaat in haar onderzoek in op de mens-computer interactie en bekijkt de dialoog tussen mens en robot die daarbij ontstaat. Het is de persoonlijke kant van robots, sociale robots die ‘high-touch’ met ‘high-tech’ verbinden. Dit is interessant omdat via emotioneel contact de meest effectieve interacties tussen mensen plaatsvinden. Technologie heeft door het ontstaan van social interacties veel kracht gewonnen in het communiceren. Samen met het emotionele contact ontstaan devices die je kunt zien als een ‘hulpzame maatje’.

Het onderzoek van Breazeal leert ons veel over de interacties met onze nieuwe partner. Centraal bij de interactie tussen partner robots en mens is het maken van adaptief gedrag. Daarvoor is een combinatie nodig van cognitief en emotioneel aspecten. Het onderzoek richt zich helemaal op de interactie tussen mens en robot, en de dialoog die daarbij ontstaat.
Een centraal thema is ‘humanized engagement’, hoe menselijk moeten robots zijn om bruikbaar te zijn?
Menselijk is niet hetzelfde als het zijn van een mens. Het ondersteunen van een menselijke ervaring gaat via een combinatie van sociale, emotionele, cognitieve en lichamelijke aspecten. De ervaring is meer menselijk als meer van deze dimensies worden ondersteund.

Een eerdere onderzoeksrobot genaamd Kismet communiceert niet in taal, maar in reactief gedrag en geluiden en bereikt daarmee een connectie bereikt.
De volgende stap is het laten leren van de robot door het spiegelen van gedrag. Het lijkt daarin heel erg op de manier waarop we zelf leren, wat veel beter werkt dat van te voren robots gedrag aan te leren.

De sociale robots bieden veel waarde als ze worden ingezet als partner van de mens, niet als vervanging. Sociale robots gaan over persoonlijke versterking, ze helpen om als mens beter te worden. De sociale robot is een hub tussen de digitale data en de professionele hulp.
Belangrijk daarbij is om sociale robots eerlijk te laten zijn in wat ze wel en niet kunnen.

We kennen dit lerend gedrag al in mindere mate van spraakgestuurde systemen. Nuance Communications ontwerpt deze interacties en hanteren een aantal eigenschappen. Naast het begrip van verwachtingen en de overwegingen wanneer spraak toe te passen in combinatie met andere interactievormen.  Adaptieve feedback is ook cruciaal;  gebruik ook ‘fouten’ in de communicatie als mogelijkheid om te leren

Een van de ultieme voorbeelden van een robot-maatje is Jibo, gemaakt door de startup van Breazeal. Het is een gezinsmaatje die probeert via de dialoog een intermediair probeert te zijn in allerlei gezinsdynamiek. Interessant is hoe via simpele gedragingen van de robot non-verbale communicatie wordt ondersteund.

De Jibo robot maakt nieuwsgierigg maar voelt ook over the top. Het is de vraag of we op deze manier een hulpje in huis zullen nemen. Hij is ook behoorlijk statisch. Een ander uiterste zagen we gevisualiseerd in de film Her waar het computersysteem letterlijk tot leven komt. Het onderzoek met Jibo leert ons het belang van het combineren van fysieke en digitale communicatie. Dit zullen we gaan merken in het haptisch gedrag van onze wearables.
Als conclusie van haar onderzoek stelt Breazeal dat er een nieuw gebied ontstaat in de interactie tussen mens en machine die veel weg heeft hoe we met onze huisdieren communiceren. Het is een mooie metafoor van het moment in de evolutie waar we nu staan. Slimme en draagbare technologie als partners van de mens, onzichtbaar maar altijd aanwezig, ongemerkt versmelten we met onze techno-assistenten en passen we ons leven aan. Het ontwerpen van digitale producten krijgt hiermee een nieuwe dimensie. Meer dan ooit is de psychologie van de mens nodig om zinvolle diensten te maken. Daarbij komt dat we ruimte moeten inbouwen voor een continue lerende dialoog tussen mens en techno-maatje.