Nieuwe methodes NFI en UvA voor herkennen deepfakes
Deepfakes, gemanipuleerde video’s, zijn niet meer weg te denken. Van nep sollicitaties: zogenaamde mensen die online een gesprek aangaan met bedrijven en zo bedrijfsinformatie binnen hengelen tot pornovideo’s waar het hoofd van een bekende Nederlander op is geplakt. Het misbruik van deepfakes neemt nog altijd toe. Het Nederlands Forensisch Instituut (NFI) en de Universiteit van Amsterdam (UvA) doen al enkele jaren onderzoek naar dit zorgelijke fenomeen. “We hebben nu een goede combinatie van nieuwe methodes die ons helpt bij de detectie van deepfakes.”
Het NFI heeft inmiddels enkele zaken gedaan waar deepfakes in zijn onderzocht. Het gaat dan om video’s waarbij lichamen en gezichten van personen gemanipuleerd zijn. De verwachting is dat dit zal toenemen. “Zorgelijk”, vindt Zeno Geradts, forensisch onderzoeker bij het NFI en bijzonder hoogleraar aan de UvA. Ook Europol en de FBI waarschuwen voor het misbruik van deepfakes. Er bestaan zelfs websites waar je het gezicht van bekendheden op pornovideo’s kunt zetten, alsof het de normaalste zaak van de wereld is. Ook zijn er voorbeelden van fraude: zoals een deepfake van een manager die een werknemer de opdracht geeft om een aanzienlijk geldbedrag over te maken.
Nieuwe methodes
Deskundigen van het NFI zijn de afgelopen drie jaar steeds beter geworden in het detecteren van deepfakes. Daarvoor gebruiken ze een checklist voor manuele vergelijkingen. Ze kijken onder meer naar inconsistenties in scherpte, soms zijn de tanden vaag en de lippen scherp. Of ze kijken naar kenmerken als moedervlekken, zitten die altijd op dezelfde plek? Maar, ze hebben nu ook enkele nieuwe methodes aan hun gereedschapskist toegevoegd. Juist de combinatie van tools helpt bij het herkennen van deepfakes, die steeds beter worden”, stelt Geradts “Je moet bovendien het totaalplaatje bekijken. Dus zowel het beeld als de audio, het spraakdeel. Synthetische stemmen zijn namelijk erg moeilijk realistisch na te maken.”
Een van de nieuwe methodes voor de analyse van deepfakes is de ‘rolling shutter-methode’, ofwel gebruikmaken van de elektrische netwerkfrequentie om zo de tijd en plaats van de video te achterhalen. We konden dit al uit geluidsbestanden halen, maar nieuw is dat dit ook uit video kan. “De elektriciteit uit een stopcontact bij mensen thuis heeft een frequentie van 50 hertz. Die is niet constant en varieert tussen ongeveer tussen de 49.5 en 50.5”, legt Geradts uit. “Dit is binnen heel Europa hetzelfde, de elektriciteitsnetwerken zijn namelijk op elkaar aangesloten. Het patroon daarvan genereert een soort tijdlijn: daarmee kunnen we bepalen wanneer een video is opgenomen.”
Zachte flikkering
Aan het licht op de achtergrond van een video kun je zien dat er iets in de opname niet klopt. Bijvoorbeeld dat de video op een ander moment is opgenomen dan geclaimd wordt. Hoe werkt dat nou? De camera van je telefoon is opgedeeld in allemaal pixels, losse sensoren. Dat 50 hertz signaal dat bijvoorbeeld door een lamp in iemand zijn kamer gaat, kunnen de onderzoekers nu goed uit het beeld halen. “Dat konden we eerst niet”, laat de onderzoeker weten. “Als je een lamp op achtergrond hebt, kun je het 50 hertz signaal als zachte flikkering door de video zien. Daarmee kunnen we achterhalen wanneer die is opgenomen, bijvoorbeeld in de nacht of overdag. Of dat de video een maand geleden is opgenomen, terwijl geclaimd wordt dat het gister was.” Het NFI en de UvA hebben over deze methode een wetenschappelijk artikel gepubliceerd . In theorie kunnen de onderzoekers ook bepalen of een video in Parijs of in Amsterdam is opgenomen, maar die methode moeten ze nog valideren.
Dan is er nog een methode: Photo Response Non Uniformity (PRNU), eigenlijk is dit een soort vingerafdruk van de camera van je telefoon. Daarmee kun je bepalen met welke camera de beelden zijn gemaakt. Geradts licht toe wat een PRNU-patroon is. “Als je op een camerasensor van een specifieke telefoon een gelijke hoeveelheid licht schijnt, reageert elke individuele pixel net een beetje anders. Daar liggen kansen voor de deepfake detectie. De pixels geven namelijk een bepaald patroon. Dat patroon kunnen we vervolgens vergelijken met het patroon van de deepfake: past het bij de ‘vingerafdruk’ van een specifieke camera? “Zo is het mogelijk om te achterhalen van welk toestel de beelden afkomstig zijn. Als we weten van welke camera geclaimd wordt dat de beelden afkomstig zijn, kunnen we dat nu dus goed onderzoeken”, zegt Geradts.
Combinatie van methodes
De kracht van goede deepfake detectie zit in het gebruik van een combinatie van klassieke methodes en kunstmatige intelligentie. Voor het spraakdeel van deepfakes bestaat nu ook een nieuwe methode. De wetenschappelijke publicatie daarover is bijna klaar. Als iemand een spreker heeft nagemaakt, is er nu ook een tool om dat te achterhalen. Soms kun je dat al horen, maar je kunt het nu ook zichtbaar maken. “Door gebruik te maken van algoritmes voor explainable AI, kunnen we nu visualiseren of het geluid gemanipuleerd is. En het dus een deepfake voice is”, aldus Geradts. Als de stem niet gemanipuleerd is, zie je een gekleurd vlak. Als er wel sprake is van manipulatie, heeft het vlak duidelijk patronen . Dit zal overigens door een deskundige worden beoordeeld voordat het gebruikt kan worden als (aanvullend) bewijsmateriaal.
Samenwerking
Hoewel deepfakes steeds beter en realistischer worden, bestaan er dus goede tools om een goede deepfakedetectie te kunnen doen. “We zullen wel steeds opnieuw onderzoek moeten blijven doen en nieuwe methodes ontdekken om criminelen voor te blijven”, stelt Geradts. “Het blijft een kat- en muisspel."