Zien

Ondersteunt brugoperator bij het veilig bedienen van bruggen

Rijkswaterstaat heeft Pegamento aangewezen als partij met de beste oplossing om door middel van detectie de veiligheid van brugbediening te verhogen. Rijkswaterstaat had een challenge uitgeschreven voor marktpartijen om met innovatieve toepassingen gevaarlijke situaties bij de bediening van bruggen te detecteren en helpen te voorkomen. Via camera's met beeldherkenning en kunstmatige intelligentie krijgt de operator op een dashboard te zien wat er op het brugdek gebeurt.

Detecteren afwijkende situaties

Waarschuwingen op dashboard bij onveilige situaties

Inzicht in statistieken verkeersdrukte, gewicht en slijtage wegdek

Rijkswaterstaat Challenge Detectie

Door middel van detectie kan Rijkswaterstaat de veiligheid van brugbediening verhogen. Hiervoor had zij een challenge uitgeschreven voor marktpartijen om met innovatieve toepassingen gevaarlijke situaties bij de bediening van bruggen te detecteren en helpen te voorkomen. Tijdens de prijsuitreiking zijn de resultaten van de praktijktest gepresenteerd waarbij de oplossing van Pegamento als beste werd beoordeeld!

Het BCR systeem kan met meerdere camera's weggebruikers volgen door middel van Artificial Intelligence en geeft de operator via een dashboard de mogelijkheid om te zien wat er op het brugdek gebeurt:

Maatwerk software detecteert auto's, fietsen en voetgangers op bruggen en wegen met AI
Het situatiemodel informeert en alarmeert de operators tijdig via een online dashboard
Geselecteerd als winnaar door Rijkswaterstaat in de Challenge Detectie

Veiligheid door beeldherkenning

BCR is een intelligent systeem ter ondersteuning van brugoperators. Met camera's detecteert en volgt BCR objecten op een brug met gebruik van Artificial Intelligence (AI). De operator krijgt op het dashboard een real time overzicht van de situatie op de brug. Ook is er een melding 'brug veilig', 'brug niet veilig' en 'brug wellicht onveilig' om snel een inschatting te kunnen maken van de situatie. De operator kan vanuit elke hoek terugkijken wat er gebeurde bij potentieel onveilige situaties om zo een goed geïnformeerde beslissing te maken.

De logische volgende stap lijkt het beproeven van het BCR systeem op een echte brug. Daarnaast voorzien we veel meer mogelijkheden waarbij we met verbonden camera's een verkeerssituatie in kaart kunnen brengen op een online dashboard. Denk bijvoorbeeld aan situaties in waterwegen, sluizen maar ook verkeersknooppunten of publieke ruimtes en logistieke centra. Ook zijn er allerlei combinaties mogelijk met andere systemen, waardoor statistieken verzameld kunnen worden over verkeersdrukte, gewicht en slijtage voor het wegdek in het algemeen.

Pegamento heeft naast de benodigde basisfuncties met het systeem ook aangetoond aan een waardevolle uitgebreide functionaliteit te voldoen doordat het weggebruikers kan tracken over tijd. We hebben vertrouwen in de haalbaarheid en de oplossing heeft meerwaarde voor ons.

Karin de Jong ● Projectleider Slimmer en Veiliger bedienen bij Rijkswaterstaat

Trainen van AI-netwerk

Na het winnen van de Rijkswaterstaat Challenge Detectie zijn we met Rijkswaterstaat bezig om vervolgstappen te zetten zodat onze oplossing onderdeel kan worden van de generieke Internet of Things inwinketen.

Bij de brug over de Biesboschsluis in Werkendam werkten we daarom aan het opzetten van een gevaar detectiesysteem om de brugoperator te ondersteunen tijdens zijn of haar werk. Er komen twee camera's die afwijkende situaties detecteren op de brug wanneer de slagbomen naar beneden gaan. Bijvoorbeeld een fiets die nog aan het hek staat vastgezet of een persoon die nog op het brugdek aanwezig is als operators de brug willen openen. Bij een afwijkende situatie krijgt de operator uiteindelijk een melding met 'let op, hier gebeurt iets' en een afbeelding. De operator krijgt op deze manier extra informatie om te kunnen beslissen of een brug wel of niet veilig open kan voor een passerend vaartuig.

We gingen aan de slag met het opnemen van beelden voor het trainen van een Artificial intelIigence netwerk, zodat het systeem afwijkende situaties leert herkennen. Hiervoor namen we beelden op van de brug onder normale en afwijkende situaties.

We zijn met deze proefopstelling bezig als onderdeel van het programma Smart Patrol om een AI-model te maken voor de Generieke RWS IOT inwinketen met Rob Michels van Rijkswaterstaat. In het filmpje leggen onder andere Karin de Jong van Rijkswaterstaat en Thomas de Wolf van Pegamento uit wat we hebben gedaan.

Lees er meer over op rijkswaterstaat.nl.

Testen van AI-netwerk

Na het verzamelen van beeldmateriaal hebben we de AI netwerken getraind om naast het detecteren van personen, fietsers en voertuigen ook afwijkende situaties te herkennen. Deze oplossing hebben we uiteindelijk weer live getest op de brug over de Biesboschsluis, om te kijken hoe goed het systeem weet om te gaan met deze situaties.

We hebben gezien dat het systeem goed in staat is om zichtbare mensen, fietsers en voertuigen te detecteren en hiervoor kan waarschuwen. Ook voor de meeste afwijkende situaties werd er correct gealarmeerd, maar hier valt nog wat verbetering te behalen om te zorgen dat in allerlei omstandigheden dit consequent blijft gebeuren.

Momenteel zijn we via een SBIR innovatie competitie een vervolgstap aan het maken in dit project om te gaan kijken hoe goed de AI netwerken achter de oplossing kunnen generaliseren voor andere locaties en toepassingen.

Lees er meer over op rijkswaterstaat.nl.