The alienating consequences of things that predict

This article is published as chapter of the ThingsCon Report ‘The State of Responsible IoT; Small Escapes from Surveillance Capitalism’, December 2019

Things become networks, autonomous things with their own agency as result of the developments in artificial intelligence. The character of things is changing into things that predict, that have more knowledge than the human where it interacts with. Things are building a new kind of relations with humans, predictive relations. What is the consequence of these predictive relations on the interaction with humans? Will the things that know more than we humans do, help us understand the complex world, or will the things start to prescribe behavior to us without we even know? What is the role of predictive relations in the design practice of the future designer?

This notion of predictive relations is linked to earlier research in the research program PACT (Partnerships in Cities of Things) and the work in the Connected Everyday Lab by Elisa Giaccardi and others. The notion that we will have affective things that draw conclusions from the interaction things have with humans, and combine these with buildup knowledge from the network, is illustrated in the provocation by Iohanna Nicenboim and Elisa Giaccardi called Affective Things.[1]

In a paper (M. L. Lupetti, Smit, & Cila, 2018) we described some near future scenarios how things connect to existing data and cloud services in the smart city and act in concert with people. In a few specific scenarios we sketched how these relations may play out. From a pizza delivery pod that know so much of the background information in combination with historical data on orders, that it can become an affective thing, starting a dialogue on the situation of the person ordering the pizza. She used to order always 2 pizzas but lately the orders became one pizza and combining with other behavior the conclusion is drawn the relationship with the boyfriend of the girl is ended. The delivery pod takes here a new role as good friend, a shoulder to cry on. A role that can do no harm if it stays within the domain of that one interaction. The links to other behavior in other situations indicates though that this is not the actual situation.

Figure 1; a new relation with autonomous things. Illustration by M.L. Lupetti from (M. L. Lupetti et al., 2018)

Another example describes a future public transport situation, based on a system of smaller transport pods that have a flexible route planning for going from A to B. This means that the pods don’t follow fixed routes and the travel time is severely reduced. But there is a catch. The system is not only flexible in the journey mapping, the planning is also taken into account who is travelling and including the social status of the person traveling. The service is there for planning its routes via a combination of actual efficiency in the route and the priorities. Consequence is that the journey time is hard to predict for the individual traveler. Creating more transparency in the decision making is key in building citizen robotic systems that are trusted by human citizens (M. Lupetti, Bendor, & Giaccardi, 2019).

The fundament of this future society

What is defining these systems to happen? The first driver is the digitizing of our world in all aspects. We have deconstructed our cities with increments of buildings or structures into a layered model where the basic layer is the physical layer. On top of that we have a digital layer that is connected to databases and computing capabilities. Entities can be physical or digital, and are using the digital layer to be assembled to a state in a service. This is the fluid assemblage (Redström & Wiltse, 2018). Not only can these assemblages be defined at the moment of use or interact, also the physical layer functions differently. Instead of setting the stage it is a blank sheet with the right components. Kitchin & Dodge described this situation as a Code/space (Kitchin & Dodge, 2011), a space where the digital computing layer has become crucial in defining the functionalities. No computing layer means no functionality. Something that already can be seen in ultimo at an airport. In the deconstructed city the services offered are totally open for interpretation but at the same time the control of that layer is more and more limited to a selective number of players.

The thing itself is changing too into an intelligent artefact. It connects with an existing network, collect real-time data and act proactively. And most interesting, it has a social behavior. These things take their own role in our society, things are citizens.

Predicting and prescripting

That things are becoming networked objects behaving as fluid assemblages is the start. These things can adapt to the data in the network and the interaction with other things and humans. This creates a situation that the thing has more knowledge on possible future developments than the human can have based on the combination of observation and anticipation. Anticipation is here based on knowledge from experience or learned interpretations. If we let loose of a ball we understand it will fall to the ground. When that same ball is an autonomous operating ball[2] it can connect to the network and things start to predict outcomes, it means that it will feed forward on situations we did not anticipate.

The more complex the behavior of the thing is the more anticipation on expected results is steering the interaction. The more complex the thing the more depending we will be on the predictions made.

In the future we will shift continuously between the simulated future and the now. Think on simple examples as the weather app that is predicting rain based on radar data and sensors is ruling our perception of the exception of becoming wet when going outside more than the judgement of the real rain situation. And more specific the example of a Tesla that is predicting an accident and taking the initiative to brake before the first accident is really happening[3].

We are entering here an interesting domain of tension; what is ruling, the predictive system that helps us to understand the complex world, or a system that is prescribing our behavior?

Figure 2: model of predictive relations and how the decentralized system is informing user to make decisions (a) or prescribing behavior (b)

If the things will form a framework for our decisions, will we transfer agency to the system of things? And if we do so, will that limit our own agency? This is no question; we are already put more trust in systems to keep knowledge and remove this knowledge from our memories. Google is the ultimo assistant. And this is an example what dependency entails. The filter bubble has become a recognized concept. What we think is true is depending on what tools like Google present to us.

As soon as we start to experience this disconnect from real world and (pre)scripted life alienation is a possible outcome. We feel disconnected from the devices as the working is more defined in the decentralised system than in the direct working. This even can cause physical unease (Bean, 2019).

A new design space

The interplay of predictions and actions creates a complex interrelated design space. Predictive behavior shapes our mental model on the acting of the thing. At the same time our actions shape the digital model of the thing. In a first model of predictive relations the interplay of the human and the autonomous operating thing is deconstructed into a combination of pattern recognition, interactions with a digital representation of the thing and knowledge from probable futures generated by similar instances in the network.

Figure 3; visualization of the hypothesis of the working of predictive relations

For designers of physical things, the span of control is already extending from the physical instance to the digital service that is incorporated or unlocked via the physical artefact. With the notion of predictive relations there is a need for designing contextual rule-based behavior. The choices made in the design defines the distribution of agency between system, thing and human. Systems of things form an entity on its own and the design is both influencing the system as the things, as it is influencing the interplay of the thing and the human. To deal with this complexity the default acting might be to automate the system behavior with machine learning and AI. But what does that mean for our position in that system. Can we keep a set of responsible rules? We like to work with known knowns and known unknowns[4]. But what is the consequence for the way we design if we need to do this for unknown knowns?


[1] Read more on the project at, last accessed 6 November 2019

[2] Art project last accessed 6 November 2019

[3] More on the specific event at (last accessed 30 July 2019)

[4] Referring here to a infamous speech by Donald Rumsfeld, US Secretary of Defense speaking in 2002 in a news briefing, see, last accessed 6 November 2019


Bean, J. (2019). Nest Rage. Interactions, 26(May-June 2019), 1.

Kitchin, R., & Dodge, M. (2011). Code/Space, Software and Everyday Life: The MIT Press.

Lupetti, M., Bendor, R., & Giaccardi, E. (2019). Robot Citizenship: A Design Perspective.

Lupetti, M. L., Smit, I., & Cila, N. (2018). Near future cities of things: addressing dilemmas through design fiction. Paper presented at the NordiCHI, Oslo.

Redström, J., & Wiltse, H. (2018). Changing Things : The Future of Objects in a Digital World. London: Bloomsbury Visual Arts.

[1] Referring here to a infamous speech by Donald Rumsfeld, US Secretary of Defense speaking in 2002 in a news briefing, see, last accessed 6 November 2019

What drives the mobility of the future?

I was invited to wrote another piece on Emerce on the future of mobility. I did not have time to translate it in English, so I share the Dutch version.

Wat drijft de mobiliteit van de toekomst?

Op de rand van het nieuwe jaar is het interessant te kijken wat de drijvende krachten zijn van de nieuwe mobiliteit. Niet alleen voor volgend jaar, maar vooral ook de jaren daarna. Waar zou je op moeten inspelen?

De vraag hoe de mobiliteit van de toekomst eruit komt te zien, stond centraal bij het onderzoeksteam naar de Stad van de Toekomst waar ik deel van uitmaakte dit jaar. Het onderzoeksproject is een initiatief van de BNA (Bond Nederlandse Architecten) en zal begin volgend jaar een publicatie opleveren. Vijf testlocaties in hele land waren de inspiratie om te kijken waar de stad de komende jaren naartoe ontwikkeld. Ons team keek naar Utrecht stadsrand oost, de toekomstige poort naar de Randstad, als de nieuwe zijderoute uit China doorzet. En een beloopbare stad, aangepast op ‘living as a service’.

De trends die ik in dit artikel met je deel zijn niet alleen geïnspireerd op het Stad van de Toekomst-project. Een andere belangrijke achtergrond is het onderzoek dat we doen aan de TU Delft als onderdeel van het programma PACT(Partnerships in Cities of Things), en dan heel specifiek de scenario’s die we ontwikkelden in dit paper: ‘Near Future Cities of Things; Addressing Dilemmas through Design Fiction’ (Lupetti et al, 2018). Dit zijn de acht trends die de mobiliteit van de toekomst beïnvloeden en vormgeven:

 1. Verdichting van de leefomgeving

We leven meer en meer in een verstedelijkte omgeving. De kwaliteit hiervan komt onder druk te staan. We moeten immers steeds meer de ruimte delen. Huizen worden kleiner en zelfs piepklein (‘tiny houses’).

De kosten van ruimte nemen ook sterk toe. De auto heeft nu al geen plek meer in de stad. Letterlijk, de plek wordt te duur. Maar dit gaat ook gebeuren met de footprint van de fiets, wordt voorspeld. We staan inmiddels in de file met de fiets. Door de verstedelijking wordt de ‘last mile’ ook steeds korter en zal die steeds meer te voet worden afgelegd.

 2. Versmelting woon-werk

De trend van flexibilisering van werk zal doorzetten. We kunnen gemakkelijker ‘overal’ werken, onze laptop is ons kantoor. Natuurlijk geldt dit niet voor alle beroepen en wordt in kennisintensieve omgevingen juist veel waarde gehecht aan de samenkomst van teams. Maar die hoeft niet fysiek te zijn.

Hoewel niet iedereen het kantoor verruilt voor de co-working space, zal dit concept toch steeds groter worden. Dit komt mede door organisaties die stoppen met eigen kantoren te bouwen.

In combinatie met de kleinere woningen in stedelijke omgevingen leidt dit niet tot minder woon-werkverkeer, maar wel tot een verandering. Werkplekken zullen zich dichtbij in de stad bevinden, afhankelijk van de geboden verbindingen, en zullen minder 9-tot-5 zijn.

Mobiele werkplekken worden gezien als een belangrijke vorm van toekomstige autonome vervoersystemen. Je ziet nu al dat forenzen die gebruik kunnen maken van goede verbindingen (zoals intercitytreinen) daar ‘kantoor houden’. Als autonome voertuigen technische realiteit zijn geworden, kunnen deze vooral de minder verstedelijkte gebieden goed ontsluiten met woon-werkverkeer op maat, van deur tot deur.

 3. Verandering klimaatsysteem

Klimaatverandering is een serieus probleem. Omdenken van energie- en ook mobiliteitssystemen zijn onderdeel van de oplossing. Met meer zonne-energie en meer elektrische voertuigen zal een betere balans ontstaan. Efficiënter gebruik van het systeem is echter misschien nog wel belangrijker. Snellere treinen worden een serieus alternatief van het vliegtuig, lokale energieopwekking door buurten of bedrijven heel gewoon.

De Nobelprijs voor de economie werd dit jaar onder andere gewonnen door William D. Nordhaus die pleit voor een economisch systeem dat betere inzet van energie stimuleert (het DICE-model: Dynamic Integrated Climate-Economy). De kosten van milieubelasting worden direct doorberekend aan de vervuiler, waardoor het opeens direct waarde oplevert om daar verbeteringen in aan te brengen. Milieuvriendelijk zijn brengt direct economisch voordeel met zich mee. Dit zal eigen verantwoordelijkheid voor energiesystemen stimuleren. Denk aan de Jaarbeurs die nieuwe ontwikkelingen combineert met zonne-energie en opslag, zodat ze niet alleen een hallencomplex exploiteren maar ook een energieproducent worden voor hun gebruikers.

 4. Alles op maat

Het digitaliseren van onze omgeving leidt ertoe dat we gewend raken aan een diverser en gepersonaliseerd aanbod. Van het samenstellen van onze perfecte auto tot 3D-geprinte objecten, maatwerk is gewoon geworden.

Daarbij dringen de algoritmes ons leven binnen. Niet alleen kunnen we dingen op maat laten maken, de dingen en diensten die we gebruiken worden aangepast aan ons gedrag, de kennis van ons profiel en vergelijkbare gebruikers. Persoonlijk aanbod wordt gemaakt op basis van het moment, en van het systeem waarin we ons bevinden.

In het Future Scenarios paper beschrijven we hoe de planning van onze reis in een ‘OV-pod’ wordt geoptimaliseerd op basis van het reisdoel van alle aanwezigen. Je weet niet meer van tevoren hoe lang je over je reis doet, tenzij je betaalt voor extra prioriteit. Een logische doorontwikkeling van huidige systemen, zoals de Intercity Direct, die werken met toeslagen.

Het systeem wordt dus flexibeler. De gebruiker kan er invloed op uitoefenen, maar het systeem creëert ook een realiteit gebaseerd op de specifieke situatie. Het Transparent Charging Station dat als experiment werd ontwikkeld door eLaadNL en Alliander maakt bijvoorbeeld keuzes wie prioriteit krijgt bij het opladen van de elektrische auto en probeert deze afwegingen inzichtelijk te maken.

 5. Van bezit naar gebruik, van single-use naar sharing

AirBNB, Uber en Greenwheels laten al een tijdje zien dat er minder wordt gedacht in bezit. Deze diensten blijken een behoefte te vervullen en er lijkt alleen maar een versnelling te komen. Zo is er een flinke groei zichtbaar van private lease en autodelen, met name onder de jongere doelgroep.

Hoewel nog relatief klein, zijn initiatieven als Snappcar interessant waarbij je de mogelijkheid hebt je eigen auto te delen met anderen. Dit zou heel goed onderdeel kunnen zijn van de aanschaf van auto’s in de toekomst (of beter gezegd, de lease). Deelgebruik is ingebakken. Met de oplaadpunten kan het al, nu nog met de auto’s.

Een interessante ontwikkeling is ook de populariteit van Swapfiets. In studentensteden lijkt een explosie van blauwe voorbanden plaats te hebben gevonden. Blijkbaar is een bepaalde zekerheid en gemak belangrijker dan een eigen identiteit via bezit. De identiteit wordt in andere zaken gezocht.

Het is overigens interessant om te zien hoe de portemonnee verandert onder invloed van deze trends. We hebben meer en meer abonnementen, van telefoon tot Swapfiets en maaltijdboxen. Een trend die lijkt over te waaien uit de VS, waar voor alles een abonnement is af te sluiten.

 6. Code/Space en Internet of Things

Al deze trends zijn het gevolg of de oorzaak van een begrip dat door Kitchin & Dodge Code/Space wordt genoemd. Ook onze fysieke omgeving is aan het omvormen naar code, naar software. Alles wordt verbonden, al onze diensten zijn digitaal en er zijn al plekken die niet meer functioneren als de digitale systemen uitvallen, zoals het vliegveld.

We gebruiken voor onze digitale diensten allemaal de cloud. We verplaatsen onze data naar een altijd aanwezige digitale laag. Deze laag ontstaat ook voor de applicaties. Edge Computing is een belangrijke trend in Internet of Things. Waar we eerst een systeem hadden met een intelligent moederstation en de contactpunten relatief dom waren en puur bedoeld voor ‘sensing & presenting’ van informatie, verschuift de intelligentie naar de touchpoints. En niet alleen in onze telefoons, maar ook in verbonden objecten. De HomePod van Apple is een minicomputer die op basis van sensoren een optimaal geluidprofiel samenstelt op het moment dat je ‘m verplaatst in de ruimte. De Google Clip-camera herkent via machine-learning of een situatie interessant genoeg is om een video-opname te starten. Die opname wordt lokaal opgeslagen.

Met het Internet of Things zijn de dingen de representatie van steeds complexere systemen. De dingen zijn ook de vertaler van ons gedrag. Ze vangen de data om meer kennis te hebben.

Bij ThingsCon liet Ren Yee van UNStudio zien hoe de versmelting invloed heeft op het denken over de gebouwde omgeving. We krijgen niet alleen Code/Space op het gebied van services, maar het ontwerp- en maakproces is steeds digitaler (BIM). Onze gebouwen en steden krijgen een digital twin. Interessant wordt het als de grens tussen simulatie en realiteit vervaagd.

 7. Assisted human

Aanbod op maat en een volledige gedigitaliseerde omgeving. Dat zijn externe factoren die inspelen op ons als mens. Maar de mens zelf wordt ook steeds meer bedreven in het toepassen van de slimme assistent en assistentie. Artificial intelligence zal zich eerst ontwikkelen als augmented intelligence, een methode voor onszelf om beter de complexere problemen op te lossen. We zullen partners worden van intelligente systemen die taken uitvoeren die wij niet of minder goed kunnen doen. Het is al een mooie case dat AI artsen kan helpen om onregelmatigheden op te sporen in scans. Dit laat zich uiteraard ook makkelijk vertalen naar ons complexe leven waarin we onze mobiliteit moeten plannen.

Ook op fysiek gebied is de assisted human een belangrijke ontwikkeling. Dat is nu al te zien in hoe de fiets langzaam maar zeker plaatsmaakt voor de elektrische fiets met trapondersteuning. Het elektrische skateboard en nu ook een soort gemotoriseerde opstaprolschaatsen van Segway zorgen voor verschuivingen in de actieradius van de mens voor de last mile en verder.

Opstaprolschaatsen van Segway

 8. Belang van ethiek

Met het toenemende bewustzijn over technologie en data en de steeds grotere afhankelijkheid daarvan, groeit het besef dat ethiek een belangrijk onderdeel is van de ontwikkeling van de systemen. We kijken kritischer naar wat we willen delen en wat niet. Ook verwachten we van de diensten die we gebruiken en de aanbieders daarachter dat zij daar een positie over innemen. De nieuwe Europese privacyregels (AVG) zijn daar een teken van. Het staat symbool voor een nieuw waardenmodel, los van de praktische invulling.

Daarnaast worden we meer en meer afhankelijk van de systemen die we gebruiken. Deze zijn vaak een black box of op z’n minst niet transparant. Daarin moeten we nieuwe waardepatronen ontwikkelen om te voorkomen dat we ongewenst worden beïnvloed en afhankelijk zijn zonder controle. Robots Should be Slaves schreef Joanna Bryson, in reactie op de gedachte dat AI zijn eigen governance gaat organiseren.

Een nieuwe mobiliteitsconsument

Wat is nu de invloed van deze ontwikkelingen op het gebruik van mobiliteit? Dit is wat er gaat gebeuren:

  • Multimodaal reizen, zowel binnen een reis als over verschillende reizen. Zeker onder invloed van de afname van bezit van vervoermiddelen, gecombineerd met de cultuur van abonnementsdiensten is het veel logischer dat een reis wordt gepland met als uitgangspunt het doel en niet op basis van het vervoermiddel. De NS Businesscard is daar al een voorbeeld van.
  • Slimmer reizen is soms ook niet reizen. Als we doelgerichtrt zijn, kan een uitkomst ook zijn dat een reis niet nodig is. Het werk opdelen in taken thuis, op een rustige plek in de stad op loopafstand of op een plek waar je samenwerkt met collega’s. Mobiliteitsaanbieders zijn dan ook niet alleen vervoeraanbieders, maar aanbieders van de combinatie van planning en reis. Als je met drie mensen 1 uur als team wil werken kan de oplossing een mobiel kantoor zijn of een plek in een co-workingspace van een station.
  • Reizen als lifestyle. Mobiliteit is meer dan doelgericht van A naar B. En meer dan de ervaring en gebruik bij b. Soms is de reis zelf ook onderdeel, als invulling van het doel zoals hiervoor beschreven, maar ook de experience op zich. Misschien wil je geïnspireerd worden door nieuwe omgevingen en ontmoetingen of juist een meditatiesessie kunnen doen. Plan het aantal calorieën dat je wil verbranden en de vervoersmiddelen worden erop aangepast.

Het zal geleidelijk gaan, maar als we over twintig jaar terugkijken op de ontwikkeling van mobiliteit, dan zijn de veranderingen groter dan gedacht, zonder dat we in een volledige nieuwe wereld leven. Dat heeft het verleden ons wel geleerd.

SXSW 2018; Soul-searching for Silicon Techies

This was my 6th SXSW, I counted. Started in 2011 the adventure with also my first ever Airbnb experience. I learned some things in the years after (2013, 2015, 2016, 2017). How to plan session schedule to prevent disappointments, but don’t fear for FOMO, it happens all the time.
Have a bike. So much better experience. But take a hybrid, the hills are steep. Especially in the favourite place to find your Airbnb; south of the river. This year we found a great house in the fancy neighbourhood Zilker Park .
We needed a five-room house as we teamed up this year with Wilbert and Marco again. And Femke joined us (Jann and me) too. Super nice to have good company to evaluate the day and share experiences. Makes it even more nice.

Continue reading at Medium:

ThingsCon 2017

Looking back at the yearly conference ThingsCon Amsterdam we organised November 30th & December 1st at Volkshotel.

We aimed for the conference to highlight ethics in practice. In 2016 we introduced our overall mission with ThingsCon to foster the creation of a responsible and human-centric IoT. This has become increasingly important throughout the last year with the developments in the world, both in tech as in society as a whole. More and more incidents with data breaches, discontinued companies breaking products, not speaking of politically developments. But also on a positive side with the announcement of GDPR, the IoT Mark initiative, and the follow-up discussions.

This year we wanted to combine a positive look on connected products with a critical design view. What does it mean in practice, from manufacturing to security, to ethics by design?

Read more on my thoughts in this Medium-post. I also share some thoughts on the plans for the coming year.

With great influence comes great responsibility. It may be a cheesy quote, but it is therefore no less true. We are at the point where the IoT is diffusing into everything and changing the character and behaviour of the things we use. This happens in ways we are not aware of and in ways that are not open and transparent. Currently, the drivers are often purely economic in nature resulting in a sneaky feeling that should make us all uncomfortable. That makes it even more important to have a stage like ThingsCon: we need a place to think about the state of IoT and take a stand together.


More on Medium

Things as citizens in the inclusive smart city

The Internet of Things (IoT) has become a known concept for the smart city vision of the future. However, current implementations are often limited to sensing only, often in the form of the Internet as a dashboard, connected to sensors in the real world. In this arrangement, urban innovation stops at collecting data, visualising it via an app, and opening it for insights to base decisions on. How fast can the city adapt if things in the real world could respond to data? If they could not only sense but also act? What will be the role of things in the city? What are the ethics of things and can we create an inclusive smart city?

More on Medium:

What is a connectable?

We started a publication here on Medium that bundle the different articles that deal with the internet of things products as we like to see them. The internet of things is often mistaken with products that have an app with it to operate. We think that is not leveraging on the real value of IoT that emerges from the new space that evolves from the connecting and the service layer that is using this space. This is what we call a connectable.

In a research project on the design language for the connectable we found that (1) the dialogue will be the main interaction with our things, (2) hybrid interfaces mix screen interactions with haptics, voice, and (3) products get smarter while aging, also when still on the shelf. We will have this research outcomes published in this publication.

To make this IoT product-services possible you need to have an holistic view on both platform back-end, service layer, embedding of the sensors and connectivity and of course the integration with the user experience via both the product as the digital engine. There will be often a screen involved for managing or monitoring, or having a remote touchpoint, but the core functionality is not defined by the screen or app experience. The digital service layer is however crucial to the experience, it shapes the way a connected product behaves, often in an adaptive way to your own behaviour.

There are some examples of this coming to the market. The cars from Tesla that are more software than hardware is a good example. Or the toys from Vai Kai that get the experience from the connection with other toys. We will see this happen silently becoming a standard part of products.

IoT is often approached as a pure technological and infrastructural challenge. That is important for the success indeed, but the key is to design the right experience and platform, both from user perspective as technological. The new products will be more adaptive to the use which will lead to new trigger-based interaction models.

In this publication we will share research and visions on the connectable.

Doing a workshop at SXSW

It cannot be denied that there is a kind of prestige in doing a session at SXSW. Not only because of the procedures and the popularity to send in proposals, leading to a small chance, but more because SXSW is one of the most well-known conferences in our field and it has the name to be the perfect thermometer what topics will be hot the years after. Sometimes that could be apps that change a piece of our behaviour like Twitter did and Foursquare, but more often just the themes that are hot.

So this year my proposal was selected. The topic on adaptive interactions and an internet of touch got more traction than the more generic internet of things, it turns out. It is not the first time I did this session the last year, starting at Vodafone Firestarters back in February 2015, after that atThingscon Berlin, Hack the Visual in London, Thingscon Amsterdam, and a couple of presentations. The subject remains interesting the coming time. For those who missed this session in Austin, we will do another edition at the first Thingscon Salon at April 1. With the presence of both Gijs Huismanand Aduen Darriba Frederiks, the researchers of social mediated touch and new touch garments.

My drive for the haptic interactions is mainly found in the believe this can work very well as a design material in the in the new reality where things and digital become one and we get new experiences of our real world. It is a very suitable way to communicate data from the cloud to human feelings and it strengthen the experience. This is one part of the presentation I give during the workshop. I use this example of a project of James Bridle as an extreme way to make your context tangible.

In the workshop at SXSW I started with some backgrounds on how touch works and the results from the research by Gijs Huisman. This is very insightful, also to experience yourself how to communicate feelings to someone else. We did a little exercise as designed by Gijs that I will not explain in detail in case you will attend the workshop next time.

After the research part we dived into the reasons why it is interesting as a design material, the broader context and relation with the internet of things. Things get rapidly connected to the internet, the next phase will be more about the second skin experience. Digital will be part of the self. This is even more relevant with the rise of the Artificial Intelligence as described in my last post on BigAI. Digital will live as a partner species in realising our needs. Haptics connects the digital and physical layer.

To experience the power of haptics as design material, we did a little design assignment in groups. Every group had a kit to try the vibrations. We provided a case and customer journey of Lyft ride sharing to let the attendees think on the ways haptic can work to help a better experience. The value of the assignment is in the discussion in the groups. Thinking on a concrete case make you dive deep in the possibilities. We had 8 groups that created all their own view on the topic. See the sketches below.

It was interesting to see that a couple of groups actively start creating a language for haptics. The cluttering of haptic feedback was also a theme with some of the groups. The conclusion was that it is a very strong way to focus and amplify certain decision moments in a flow.

We concluded the session with a presentation on some design thinking principles for wearables and in particular haptic interactions. On the shift from the app model to the moment based interactions, and the move to adaptive products and services and how to design rule-based interactions. In haptics is were the conversational UI and the internet of things meet. Creating feedback loops that you can feel fits the more interesting dialogues you can have in the new services. The workshop aimed to let people experience exactly that possibilities.

BigAI, the new promise of SXSW 2016

This edition of SXSW was a bit different for me compared to the three before. I did a workshop in the program for a starter. That meant that I had to prepare stuff together with the team (René and Won), so I missed listening to talks on Monday. I also had some deadlines. All and all I have the feeling I saw less talks this edition.

Still there were enough interesting content and insights. Or reflections on things you are busy with yourself, that was mainly the case. But before diving into that part, a couple of general things I noticed.

I think I discovered last year for the first time the power of the tradeshow. Now again, lots of inspiration could be found there. Too bad I did not do a full round, but I did visit SXCreate in Palm Event Center the first day and that was very interesting. For the feel, but also for a couple of interesting projects such as the the Parihug. A bear with haptic sensors and actuators that can transport the hugs over a distance. This is exactly what our workshop was about; social mediated touch. It was good to hear Dan Steingart from Princeton University claiming that haptics, notifications are the killer function for wearables. Not from yourself but on a distance.
More on that topic in a separate post.

Also on SXCreate was the production version of Jibo. That is assistent for you home like for instance Amazon Echo is, but is has some emotional interactions build in and also uses voice and face recognition. It worked very well in being a nice companion. And it is an platform with an SDK where you can create your own services using the communications tools that are provided. Could be very powerful.

It was one of the questions I had before SXSW; are we going to see the product as a platform for software as an important trend? This was not so ubiquitous present. In one talk of Brady Forrest on the hardware startup it was clearly touched. And in one of the better fashion panels you see that this is important approach for companies like VF (ao Vans, Northface, Timberland). I expect this will be something to expect for the next year to become bigger. As one of the speakers in the conversational UI panel predicts: In 10 years we do not carry a mobile phone. Access the internet will be via the conversation with the services.

It is a natural successor of the big trend this year: AI (artificial intelligence) and robots. Especially the AI was everywhere. It is clearly a new driving force for other areas. From media to products, in the conversational UI, also a hot topic. And as thing on its own with the bots of course. A room on the secrets of machine learning was stuffed with design oriented people.

Talks on robots where also numerous. I attended a couple. One of the most focused one had an interesting mix of people from someone that make robotised help in shops, another from Google(x) and a professor that researched the behaviour of people towards robots. Concluding that the design of the communication of intentions by a robot is very important for the acceptance and usefulness. A robot that cannot open the door but communicates it’s helplessness is much more accepted. She worked with Pixar to model the behaviour.
Julia Hu from Lark called it the concept of seamless emergence. The moment you give too much freedom to give answers, the bots become dumm. When designing for conversational UIs you need to control the environment.
We see robots as servants or even slaves. We need to take that into account when designing the interaction with them. An AI can outperform a human advice when the reasoning behind a decision is added.

The general conclusion on AI and robots is that will be very tasked based aassistantsthat are part of sets of services. An AI is very good in repetitive tasks, but also very useful for tasks that we as humans are likely to become blurred by our own experiences. For instance with brainstorming to trigger new routes.
We will have AIs all around and we will give them a place in our life. As we already have a feeling with the teasing of the robot dogs so will we have the robots in our lives.

Chris Messina: compare how children now use the touch screen and expect all screen to be touch. The next generation will do that with conversation with things.

So you can say that the AI and the execution of it is the key trend from SXSW. It is as Michiel Berger said, for the first time in a decade, since the rise of networked systems and social media, that we have a trend that is influencing all the things around us. That is the value of SXSW for me, grab the energy of the things that matter for the coming year or so.
And I cannot agree more with Kris Hammond from Narrative Science in the first panel on Friday: The AI should be designed by designers not (only) engineers optimising existing processes.