Kunstmatige intelligentie (AI) wordt steeds vaker geïntegreerd in de gezondheidszorg, van administratieve functies zoals planning en facturering tot klinische besluitvorming, waaronder diagnoses en behandelingsaanbevelingen. Hoewel AI aanzienlijke voordelen biedt, hebben bezorgdheden over vooringenomenheid, transparantie en verantwoordingsplicht geleid tot regelgevende maatregelen. De Artificial Intelligence Act (de wet) van Colorado, die op 1 februari 2026 van kracht wordt, legt governance- en openbaarmakingsvereisten op aan entiteiten die risicovolle AI-systemen inzetten, met name die welke betrokken zijn bij belangrijke beslissingen die van invloed zijn op de gezondheidszorg en andere kritieke gebieden.
Gezien de brede toepasselijkheid van de wet, inclusief de mogelijke extraterritoriale reikwijdte voor entiteiten die zaken doen in Colorado, moeten zorgverleners proactief hun gebruik van AI beoordelen en zich voorbereiden op naleving van toekomstige regelgeving. Hieronder bespreken we de bedoeling van de wet, op welke soorten AI deze van toepassing is, toekomstige regelgeving, mogelijke gevolgen voor zorgverleners, wettelijke nalevingsvereisten en handhavingsmechanismen.
1. Waartegen probeert de wet bescherming te bieden?
De wet heeft voornamelijk tot doel algoritmische discriminatie tegen te gaan, gedefinieerd als AI-gestuurde besluitvorming die leidt tot onwettige differentiële behandeling of ongelijke gevolgen voor personen op basis van bepaalde kenmerken, zoals ras, handicap, leeftijd of taalvaardigheid. De wet heeft tot doel te voorkomen dat AI bestaande vooroordelen versterkt of beslissingen neemt die bepaalde groepen op oneerlijke wijze benadelen.
Voorbeelden van algoritmische discriminatie in de gezondheidszorg
- Problemen met toegang tot zorg: AI-gestuurde telefoonafspraaksystemen herkennen bepaalde accenten mogelijk niet of kunnen niet-Engelssprekenden niet goed verwerken, waardoor het voor niet-Engelssprekenden moeilijker wordt om medische afspraken te maken.
- Bevooroordeelde diagnostische hulpmiddelen en behandelingsaanbevelingen: Sommige AI-diagnostische hulpmiddelen kunnen verschillende behandelingen aanbevelen voor patiënten van verschillende etnische achtergronden, niet op basis van medisch bewijs, maar vanwege vooroordelen in de trainingsgegevens. Een AI-model dat voornamelijk is getraind op gegevens van blanke patiënten, kan bijvoorbeeld vroege tekenen van ziekte missen die zich anders manifesteren bij zwarte of Spaanse patiënten, wat resulteert in onnauwkeurige of minder effectieve behandelingsaanbevelingen voor historisch gemarginaliseerde bevolkingsgroepen.
- Door deze en andere door AI veroorzaakte ongelijkheden aan te pakken, wil de wet ervoor zorgen dat geautomatiseerde systemen bestaande ongelijkheden in de toegang tot gezondheidszorg en de resultaten daarvan niet versterken of verergeren.
2. Op welke soorten AI heeft de wet betrekking?
De wet is in grote lijnen van toepassing op bedrijven die AI gebruiken om te communiceren met inwoners van Colorado of om beslissingen over hen te nemen. Hoewel bepaalde risicovolle AI-systemen – systemen die een belangrijke rol spelen bij het nemen van ingrijpende beslissingen – aan strengere eisen moeten voldoen, legt de wet verplichtingen op aan de meeste AI-systemen die in de gezondheidszorg worden gebruikt.
Belangrijkste definities in de wet
- Onder "kunstmatig intelligentiesysteem"wordt verstaan elk machinaal systeem dat output genereert – zoals beslissingen, voorspellingen of aanbevelingen – die van invloed kan zijn op de werkelijke omgeving.
- "Belangrijke beslissing" betekent een beslissing die wezenlijke gevolgen heeft voor de toegang van een consument tot gezondheidszorg, verzekeringen of andere essentiële diensten, of voor de kosten daarvan.
- Onder "risicovol AI-systeem" wordt verstaan: elke AI-tool die een belangrijke beslissing neemt of daarop een aanzienlijke invloed heeft.
- "Wezenlijke factor" betekent een factor die bijdraagt aan het nemen van een belangrijke beslissing of die de uitkomst van een belangrijke beslissing kan beïnvloeden en die door een AI-systeem wordt gegenereerd.
- "Ontwikkelaars" betekent makers van AI-systemen.
- "Implementators"zijn gebruikers van risicovolle AI-systemen.
3. Hoe kunnen zorgverleners naleving garanderen?
Hoewel de wet algemene verplichtingen vastlegt, moeten specifieke voorschriften nog worden vastgesteld. De procureur-generaal van Colorado heeft de taak gekregen om regels op te stellen om de nalevingsvereisten te verduidelijken. Deze voorschriften kunnen betrekking hebben op:
- Risicobeheer en nalevingskaders voor AI-systemen.
- Openbaarmakingsvereisten voor het gebruik van AI in consumentgerichte toepassingen.
- Richtlijnen voor het evalueren en beperken van algoritmische discriminatie.
Zorgverleners moeten de ontwikkelingen op het gebied van regelgeving nauwlettend volgen om ervoor te zorgen dat hun AI-gerelateerde praktijken in overeenstemming zijn met de staatswetgeving.
4. Welke gevolgen kan de wet hebben voor de gezondheidszorg?
De wet verplicht zorgverleners om specifiek te evalueren hoe zij AI gebruiken op verschillende operationele gebieden, aangezien de wet in brede zin van toepassing is op elk AI-systeem dat van invloed is op de besluitvorming. Gezien de groeiende rol van AI in de patiëntenzorg, administratieve functies en financiële activiteiten, moeten zorginstellingen rekening houden met nalevingsverplichtingen op meerdere gebieden.
Facturering en incasso
- AI-gestuurde facturerings- en claimverwerkingssystemen moeten worden gecontroleerd op mogelijke vooroordelen die onevenredig gericht kunnen zijn op specifieke patiëntengroepen voor incasso-inspanningen.
- Implementatoren moeten ervoor zorgen dat hun AI-systemen niet onbedoeld financiële belemmeringen voor specifieke patiëntengroepen creëren.
Planning en toegang voor patiënten
- AI-aangedreven planningsassistenten moeten zo worden ontworpen dat ze geschikt zijn voor patiënten met een handicap en beperkte Engelse taalvaardigheid, om onbedoelde discriminatie en vertraagde toegang tot zorg te voorkomen.
- Aanbieders moeten beoordelen of hun AI-tools bepaalde patiënten voorrang geven boven andere op een manier die als discriminerend kan worden beschouwd.
Klinische besluitvorming en diagnose
- AI-diagnostische tools moeten worden gevalideerd om ervoor te zorgen dat ze geen bevooroordeelde resultaten opleveren voor verschillende demografische groepen.
- Zorginstellingen die gebruikmaken van AI-ondersteunde triagetools moeten protocollen opstellen voor het controleren van door AI gegenereerde aanbevelingen om de eerlijkheid en nauwkeurigheid ervan te waarborgen.
5. Als u AI gebruikt, aan welke regels moet u dan voldoen?
De wet legt verschillende verplichtingen op aan ontwikkelaars en implementators. Zorgverleners zullen in de meeste gevallen 'implementators' van AI-systemen zijn, in tegenstelling tot ontwikkelaars. Zorgverleners zullen contractuele relaties met ontwikkelaars nauwkeurig willen onderzoeken om te zorgen voor een passende risicospreiding en informatie-uitwisseling wanneer zij AI-tools in hun activiteiten implementeren.
- Verplichtingen van ontwikkelaars (AI-leveranciers)
- Informatieverschaffing aan implementators: Ontwikkelaars moeten transparantie bieden over de trainingsgegevens van het AI-systeem, bekende vooroordelen en beoogde gebruikssituaties.
- Risicobeperking: Ontwikkelaars moeten hun inspanningen om algoritmische discriminatie tot een minimum te beperken, documenteren.
- Effectbeoordelingen: Ontwikkelaars moeten beoordelen of het AI-systeem risico's op discriminatie met zich meebrengt voordat ze het in gebruik nemen.
- Verplichtingen van implementatoren (bijv. zorgverleners)
- Verplichting om algoritmische discriminatie te vermijden
- Ontwikkelaars van risicovolle AI-systemen moeten redelijke zorgvuldigheid betrachten om consumenten te beschermen tegen bekende of voorzienbare risico's van algoritmische discriminatie.
- Risicobeheerbeleid en -programma
- Implementatoren moeten een risicobeheerbeleid en -programma implementeren dat risico's van algoritmische discriminatie identificeert, documenteert en beperkt.
- Het programma moet iteratief zijn, regelmatig worden bijgewerkt en in overeenstemming zijn met erkende kaders voor AI-risicobeheer.
- De vereisten variëren afhankelijk van de omvang van de implementatie, de complexiteit, de reikwijdte van het AI-systeem en de gevoeligheid van de gegevens.
- Effectbeoordelingen (reguliere en door gebeurtenissen geactiveerde beoordelingen)
- Tijdvereisten: Implementatoren moeten effectbeoordelingen uitvoeren:
- Voordat een risicovol AI-systeem wordt geïmplementeerd.
- Ten minste eenmaal per jaar voor elk geïmplementeerd AI-systeem met een hoog risico.
- Binnen 90 dagen na elke opzettelijke en substantiële wijziging van het AI-systeem.
- Vereiste inhoud: Elke effectbeoordeling moet het doel, het beoogde gebruik en de voordelen van het AI-systeem bevatten, een analyse van de risico's van algoritmische discriminatie en mitigerende maatregelen, een beschrijving van de verwerkte gegevens (input, output en eventuele aanpassingsgegevens), prestatiestatistieken en systeembeperkingen, transparantiemaatregelen (inclusief informatieverschaffing aan consumenten) en details over monitoring en waarborgen na implementatie.
- Speciale vereisten voor wijzigingen: Als er een effectbeoordeling wordt uitgevoerd vanwege een substantiële wijziging, moet deze ook een toelichting bevatten over hoe het daadwerkelijke gebruik van het AI-systeem overeenkwam met of afweek van het oorspronkelijk beoogde doel.
- Tijdvereisten: Implementatoren moeten effectbeoordelingen uitvoeren:
- Meldingen en transparantie
- Openbare kennisgeving: Implementators moeten op hun website een verklaring publiceren waarin zij beschrijven welke risicovolle AI-systemen zij gebruiken en hoe zij omgaan met discriminatierisico's.
- Kennisgevingen aan patiënten/werknemers: Voordat een AI-systeem een belangrijke beslissing neemt, moeten personen op de hoogte worden gesteld van het gebruik ervan.
- Uitleg na besluitvorming: Als AI bijdraagt aan een ongunstig besluit, moeten degenen die AI inzetten uitleg geven over de rol ervan en de betrokkene de mogelijkheid bieden om in beroep te gaan of onjuiste gegevens te corrigeren.
- Kennisgevingen aan de procureur-generaal: Als blijkt dat AI algoritmische discriminatie heeft veroorzaakt, moeten de implementators dit binnen 90 dagen melden aan de procureur-generaal.
- Verplichting om algoritmische discriminatie te vermijden
Kleine implementators (met minder dan 50 werknemers) die geen AI-modellen trainen met hun eigen gegevens, zijn vrijgesteld van veel van deze nalevingsverplichtingen.
6. Hoe wordt de wet gehandhaafd?
- Alleen de procureur-generaal van Colorado heeft handhavingsbevoegdheid.
- Er bestaat een weerlegbaar vermoeden van naleving als implementators erkende AI-risicobeheerkaders volgen.
- Er bestaat geen particulier recht van vordering, wat betekent dat consumenten niet rechtstreeks op grond van de wet een rechtszaak kunnen aanspannen.
Zorgverleners moeten vroegtijdig actie ondernemen om hun gebruik van AI te beoordelen en nalevingsmaatregelen te implementeren.
Laatste gedachten: wat zorgverleners nu moeten doen
- De wet betekent een belangrijke verschuiving in de regelgeving rond AI, met name voor zorgverleners die steeds vaker gebruikmaken van AI-gestuurde tools voor patiëntenzorg, administratieve taken en financiële activiteiten.
- Hoewel de wet tot doel heeft de transparantie te vergroten en algoritmische discriminatie tegen te gaan, legt zij ook aanzienlijke nalevingsverplichtingen op. Zorginstellingen zullen hun gebruik van AI moeten beoordelen, risicobeheerprotocollen moeten implementeren en gedetailleerde documentatie moeten bijhouden.
- Gezien het veranderende regelgevingslandschap moeten zorgverleners een proactieve aanpak hanteren door bestaande AI-systemen te controleren, personeel te trainen in nalevingsvereisten en governancekaders op te zetten die aansluiten bij best practices. Naarmate de regelgeving door de procureur-generaal van Colorado vordert, zal het van cruciaal belang zijn om op de hoogte te blijven van aanvullende regelgevingsvereisten om naleving te waarborgen en handhavingsrisico's te vermijden.
- Uiteindelijk weerspiegelt de wet een bredere trend in de richting van AI-regulering die waarschijnlijk verder zal reiken dan de staatsgrenzen. Zorginstellingen die nu investeren in AI-governance zullen niet alleen juridische risico's beperken, maar ook het vertrouwen van patiënten behouden in een sector die steeds meer door AI wordt aangestuurd.
- Als zorgverleners van plan zijn om AI-systemen in hun activiteiten te integreren, is het essentieel om een grondige juridische analyse uit te voeren om te bepalen of de wet van toepassing is op hun specifieke gebruikssituaties. Dit moet ook een zorgvuldige beoordeling en onderhandeling van serviceovereenkomsten met AI-ontwikkelaars omvatten, om ervoor te zorgen dat de zorgverlener over voldoende informatie en medewerking van de ontwikkelaar beschikt om aan de wet te voldoen en de risico's op de juiste wijze tussen de partijen te verdelen.
Compliance is geen standaardproces. Het vereist een zorgvuldige evaluatie van AI-tools, hun functies en hun potentieel om belangrijke beslissingen te beïnvloeden. Organisaties moeten nauw samenwerken met juridische adviseurs om de complexiteit van de wet te doorgronden, risicobeheerkaders te implementeren en protocollen voor voortdurende compliance op te stellen. Naarmate de AI-regelgeving zich verder ontwikkelt, zal proactieve juridische beoordeling van cruciaal belang zijn om ervoor te zorgen dat zorgverleners niet alleen voldoen aan de wettelijke vereisten, maar ook ethische en rechtvaardige AI-praktijken hanteren die in overeenstemming zijn met bredere industrienormen.
Foley is er om u te helpen bij de korte- en langetermijngevolgen van veranderingen in de regelgeving. Wij beschikken over de middelen om u te helpen bij deze en andere belangrijke juridische overwegingen met betrekking tot bedrijfsvoering en branchespecifieke kwesties. Neem contact op met de auteurs, uw Foley-relatiepartner, onze Sector Gezondheidszorg en biowetenschappenof onze Sector Innovatieve Technologie met vragen.
