AI-geneesmiddelenontwikkeling: FDA publiceert ontwerprichtlijn

Op 6 januari 2025 publiceerde de Amerikaanse Food and Drug Administration (FDA) een ontwerprichtlijn met de titel Overwegingen voor het gebruik van kunstmatige intelligentie ter ondersteuning van regelgevende besluitvorming voor geneesmiddelen en biologische producten (“richtlijn”) waarin wordt uitgelegd welke soorten informatie de instantie kan opvragen tijdens de evaluatie van geneesmiddelen. De richtlijn schetst met name een risicokader op basis van een “gebruikscontext” van kunstmatige intelligentie (AI) en geeft gedetailleerde informatie over de informatie die kan worden opgevraagd (of vereist is) met betrekking tot AI-technologieën, de gegevens die worden gebruikt om de technologieën te trainen en het beheer van de technologieën, om het gebruik ervan goed te keuren. Op hoog niveau onderstreept de richtsnoer de doelstellingen van de FDA om de geloofwaardigheid van AI-modellen binnen de gebruikscontext vast te stellen.

Dit artikel biedt een overzicht van de richtlijnen, inclusief voorbeelden van gebruikssituaties en een gedetailleerde beschrijving van het risicokader, en legt uit hoe deze verband houden met het vaststellen van de geloofwaardigheid van AI-modellen door middel van de voorgestelde gegevens- en modelgerelateerde openbaarmakingen. Verder wordt ingegaan op juridische strategische overwegingen en innovatiemogelijkheden die uit de richtlijnen voortvloeien. Deze overwegingen zijn waardevol voor sponsors (d.w.z. van klinisch onderzoek, zoals aanvragen voor vrijstelling voor onderzoek naar nieuwe geneesmiddelen), AI-modelontwikkelaars en andere bedrijven in de geneesmiddelenontwikkeling.

De vraag van belang definiëren

De eerste stap in het kader van de richtsnoeren is het definiëren van de "interessante vraag": de specifieke vraag, beslissing of zorg die door het AI-model wordt behandeld. Interessante vragen kunnen bijvoorbeeld betrekking hebben op het gebruik van AI-technologie in klinische proeven bij mensen, zoals inclusie- en exclusiecriteria voor de selectie van deelnemers, risicoclassificatie van deelnemers of het vaststellen van procedures met betrekking tot klinische uitkomstmaten die van belang zijn. Vragen van belang kunnen ook betrekking hebben op het gebruik van AI-technologie in geneesmiddelproductieprocessen, bijvoorbeeld voor kwaliteitscontrole.

Gebruikssituaties

De richtlijn stelt vervolgens gebruikscontexten vast – het specifieke toepassingsgebied en de rol van een AI-model voor het behandelen van de vraag die van belang is – als uitgangspunt voor het begrijpen van eventuele risico's die aan het AI-model verbonden zijn, en daarmee ook hoe de geloofwaardigheid ervan kan worden vastgesteld.

De richtlijn benadrukt dat deze beperkt is tot AI-modellen (ook voor het ontdekken van geneesmiddelen) die van invloed zijn op de veiligheid van patiënten, de kwaliteit van geneesmiddelen of de betrouwbaarheid van resultaten uit niet-klinische of klinische studies. Bedrijven die AI-modellen gebruiken voor het ontdekken van geneesmiddelen, maar die vertrouwen op meer traditionele processen om factoren aan te pakken die de FDA in overweging neemt bij het goedkeuren van een geneesmiddel, zoals veiligheid, kwaliteit en stabiliteit, moeten zich bewust zijn van de onderliggende principes van de richtlijn, maar hoeven hun huidige AI-governance mogelijk niet aan te passen. Een belangrijke factor bij het definiëren van de gebruikscontexten is de rol die het AI-model speelt ten opzichte van andere geautomatiseerde of door mensen gecontroleerde processen. Zo zullen processen waarbij een persoon AI-outputs ter verificatie krijgt, verschillen van processen die volledig geautomatiseerd zijn.

In de richtlijn worden verschillende soorten gebruikssituaties geïntroduceerd, waaronder:

1. Ontwerp en beheer van klinische proeven
2. Patiënten evalueren
3. Beoordeling van eindpunten
4. Analyse van gegevens uit klinische onderzoeken
5. Digitale gezondheidstechnologieën voor de ontwikkeling van geneesmiddelen
6. Geneesmiddelenbewaking
7. Farmaceutische productieGenereren van praktijkgegevens (RWE)
8. Onderhoud gedurende de levenscyclus

Risicokader voor het bepalen van de mate van informatieverschaffing

De richtlijn stelt voor dat het risiconiveau van het AI-model bepalend is voor de omvang en diepgang van de informatie die over het AI-model moet worden verstrekt. Het risico wordt bepaald op basis van twee factoren: 1) in hoeverre het AI-model de besluitvorming zal beïnvloeden (risico van modelinvloed), en 2) de gevolgen van het besluit, zoals risico's voor de veiligheid van patiënten (risico van besluitgevolgen).

Voor AI-modellen met een hoog risico – waarbij de output van invloed kan zijn op de veiligheid van patiënten of de kwaliteit van geneesmiddelen – moeten mogelijk uitgebreide details over de architectuur, gegevensbronnen, trainingsmethodologieën, validatieprocessen en prestatiestatistieken van het AI-model worden ingediend voor evaluatie door de FDA. Omgekeerd kan de vereiste openbaarmaking minder gedetailleerd zijn voor AI-modellen met een laag risico. Deze gelaagde aanpak bevordert de geloofwaardigheid en voorkomt onnodige openbaarmakingslasten voor scenario's met een lager risico.

De meeste AI-modellen die onder deze richtlijn vallen, zullen echter waarschijnlijk als risicovol worden beschouwd omdat ze worden gebruikt voor het beheer van klinische proeven of de productie van geneesmiddelen. Belanghebbenden moeten er dus op voorbereid zijn om uitgebreide informatie te verstrekken over een AI-model dat wordt gebruikt om besluitvorming te ondersteunen. Sponsors die traditionele (niet-AI) methoden gebruiken om hun geneesmiddelen te ontwikkelen, moeten volledige niet-klinische, klinische en chemische productie- en controlegegevens indienen ter ondersteuning van de beoordeling door de FDA en de uiteindelijke goedkeuring van een aanvraag voor een nieuw geneesmiddel. Sponsors die AI-modellen gebruiken, moeten dezelfde informatie indienen, maar moeten daarnaast ook informatie over het AI-model verstrekken, zoals hieronder beschreven.

Overzicht op hoog niveau van richtlijnen voor naleving, afhankelijk van de context van gebruik

De richtlijn geeft verder een gedetailleerd overzicht van de stappen die moeten worden genomen om de geloofwaardigheid van een AI-model vast te stellen, rekening houdend met de context waarin het wordt gebruikt. De stappen omvatten een beschrijving van: (1) het model, (2) de gegevens die zijn gebruikt om het model te ontwikkelen, (3) de training van het model, (4) en de evaluatie van het model, met inbegrip van testgegevens, prestatiemaatstaven en betrouwbaarheidsaspecten zoals vooringenomenheid, kwaliteitsborging en beheer van codefouten. Van sponsors kan worden verwacht dat zij meer gedetailleerde informatie verstrekken naarmate de risico's in verband met deze stappen toenemen, met name wanneer de impact op proefdeelnemers en/of patiënten toeneemt.

Daarnaast benadrukt de FDA specifiek dat er speciale aandacht moet worden besteed aan het behoud van de geloofwaardigheid van de output van AI-modellen gedurende hun levenscyclus. Als bijvoorbeeld de input voor of de toepassing van een bepaald AI-model verandert, kan het nodig zijn om de prestaties van het model opnieuw te evalueren (en dus de bijbehorende informatie openbaar te maken om de geloofwaardigheid te blijven ondersteunen).

Overwegingen met betrekking tot intellectueel eigendom

Octrooi versus bedrijfsgeheim

Belanghebbenden moeten zorgvuldig overwegen om de innovaties die ten grondslag liggen aan AI-modellen die worden gebruikt voor besluitvorming, te patenteren. De uitgebreide eisen van de FDA met betrekking tot transparantie en het indienen van informatie over AI-modelarchitecturen, trainingsgegevens, evaluatieprocessen en onderhoudsplannen voor de levenscyclus zouden een aanzienlijke uitdaging vormen voor het behoud van deze innovaties als bedrijfsgeheimen.

Dat gezegd hebbende, is bescherming van bedrijfsgeheimen van ten minste enkele aspecten van AI-modellen een optie wanneer het AI-model niet openbaar hoeft te worden gemaakt. Als het AI-model wordt gebruikt voor het ontdekken van geneesmiddelen of voor activiteiten die geen invloed hebben op de veiligheid van patiënten of de kwaliteit van geneesmiddelen, is het wellicht mogelijk om het AI-model of de trainingsgegevens ervan geheim te houden. AI-modellen die worden gebruikt voor besluitvorming zullen echter onderworpen zijn aan de eisen van de FDA op het gebied van transparantie en openbaarmaking van informatie, wat de bescherming van bedrijfsgeheimen waarschijnlijk in gevaar zal brengen. Door octrooibescherming voor de AI-modellen te verkrijgen, kunnen belanghebbenden hun intellectuele eigendom beschermen en tegelijkertijd voldoen aan de transparantievereisten van de FDA.

Kansen voor innovatie

De richtlijn vereist strenge risicobeoordelingen, normen voor de geschiktheid van gegevens en modelvalidatieprocessen, die de basis zullen vormen voor de ontwikkeling van tools en systemen om aan deze eisen te voldoen. Zoals hierboven vermeld, komen innovatieve benaderingen voor het beheren en valideren van AI-modellen die worden gebruikt voor besluitvorming niet in aanmerking voor bescherming als bedrijfsgeheim, en belanghebbenden moeten ervoor zorgen dat deze uitvindingen vroegtijdig worden geïdentificeerd en gepatenteerd.

We hebben specifieke kansen voor AI-innovatie geïdentificeerd die waarschijnlijk zullen worden gestimuleerd door de eisen van de FDA die in de richtlijn worden weerspiegeld:

• Vereisten voor transparantie
  1. Het ontwerpen van AI-modellen met verklaarbare AI-mogelijkheden die laten zien hoe beslissingen of voorspellingen tot stand komen.
  1. Vooringenomenheid en geschiktheid van gegevens
     1. Systemen voor het detecteren van vooringenomenheid in trainingsgegevens
     1. Systemen voor het corrigeren van vertekening in trainingsgegevens
  1. Systemen voor het monitoren van levenscyclusonderhoud
     1. Systemen om gegevensafwijkingen of veranderingen in het AI-model tijdens de levenscyclus van het geneesmiddel te detecteren
     1. Systemen om het AI-model indien nodig opnieuw te trainen of te valideren vanwege datadrift
     1. Geautomatiseerde systemen voor het volgen van modelprestaties
  1. Testmethoden
     1. Modellen ontwikkelen die kunnen worden getest aan de hand van onafhankelijke datasets en omstandigheden om de generaliseerbaarheid aan te tonen.
  1. Integratie van AI-modellen in een praktische workflow
     1. Goede productiepraktijken
     1. Klinische beslissingsondersteunende systemen
  • Documentatiesystemen
    1. Automatische systemen voor het genereren van rapporten over modelontwikkeling, evaluatie, updates en geloofwaardigheidsbeoordelingen die kunnen worden ingediend bij de FDA om te voldoen aan wettelijke vereisten.

De richtlijn biedt tal van mogelijkheden voor innovaties om de geloofwaardigheid, transparantie en naleving van regelgeving van AI gedurende de hele levenscyclus van geneesmiddelen te verbeteren. Zoals hierboven aangetoond, sluiten de uitdagingen die de FDA wil aanpakken om het gebruik van AI bij de ontwikkeling van geneesmiddelen te valideren, duidelijk aan bij mogelijke innovaties. Dergelijke innovaties zijn waarschijnlijk waardevol, aangezien ze nodig zijn om te voldoen aan de FDA-richtlijnen en aanzienlijke mogelijkheden bieden voor het ontwikkelen van een concurrerende octrooiportefeuille.

Conclusie

Met deze richtlijn heeft de FDA richtlijnen voorgesteld voor het vaststellen van de geloofwaardigheid van AI-modellen die risico's en gevolgen hebben voor deelnemers aan klinische proeven en patiënten. Deze richtlijn, die nog in conceptvorm is en niet bindend is, volgt een stapsgewijs kader, van het definiëren van de vraag die van belang is en het vaststellen van de context waarin het AI-model wordt gebruikt, tot het evalueren van de risico's en het vaststellen van de reikwijdte van de openbaarmaking die relevant kan zijn. De richtlijn beschrijft de meest recente visie van de FDA op het gebruik van AI bij de ontwikkeling van geneesmiddelen. Gezien een dergelijk kader en het bijbehorende niveau van openbaarmaking dat kan worden verwacht, kunnen sponsors overwegen hun strategie te wijzigen en meer gebruik te maken van octrooibescherming voor hun innovaties. Evenzo kunnen er meer mogelijkheden zijn om innovaties te identificeren en te beschermen die verband houden met het opzetten van governance rond deze modellen.

Naast het gebruik van IP-bescherming als vangnet voor meer openbaarmaking, kunnen bedrijven ook overwegen om meer operationele controles in te voeren om de risico's van het gebruik van AI-modellen te beperken en zo hun openbaarmakingsverplichtingen te verminderen. Bedrijven kunnen bijvoorbeeld overwegen om de geloofwaardigheid van AI-modellen te ondersteunen met andere bewijsbronnen en om meer menselijke betrokkenheid en toezicht in hun processen te integreren.

Ondertussen moeten sponsors die onzeker zijn over hoe het gebruik van hun AI-model zou kunnen interageren met toekomstige FDA-vereisten, de betrokkenheidsopties overwegen die de FDA heeft geschetst voor hun specifieke gebruikscontext.

Opmerkingen over de ontwerprichtlijn kunnen vóór 7 april 2025 online of per post worden ingediend. Ons team staat klaar om geïnteresseerde belanghebbenden te helpen bij het opstellen van opmerkingen.

Foley is er om u te helpen bij de korte- en langetermijngevolgen van veranderingen in de regelgeving. Wij beschikken over de middelen om u te helpen bij deze en andere belangrijke juridische overwegingen met betrekking tot bedrijfsvoering en branchespecifieke kwesties. Neem contact op met de auteurs, uw Foley-relatiepartner, onze Sector Gezondheidszorg en biowetenschappenof onze Sector Innovatieve Technologie met vragen.