Teknisk dokumentation (Annex IV)

1. Allmän beskrivning

MedAssist AI är ett kliniskt beslutsstödssystem som syftar till att assistera läkare vid diagnostisering av hjärt-kärlsjukdomar genom automatiserad analys av patientjournaler och laboratorieresultat. Systemet använder maskininlärningsalgoritmer för att identifiera riskfaktorer och generera rekommendationer för vidare kliniska undersökningar, i enlighet med kraven i Artikel 11 och Annex IV punkt 1 i EU AI Act.

AI-systemet är designat för att fungera som ett beslutsstöd inom hälso- och sjukvårdssektorn, där det analyserar strukturerad och ostrukturerad patientdata för att förse vårdpersonal med evidensbaserade rekommendationer. Systemets primära funktion är att stödja klinisk beslutsfattning genom att identifiera potentiella riskmarkörer och föreslå lämpliga diagnostiska åtgärder baserat på patientspecifik information och etablerade medicinska riktlinjer.

1. Allmän beskrivning

Utvecklare och leverantör

MedTech Solutions AB agerar som både utvecklare och leverantör av detta högrisk-AI-system i enlighet med definitionerna i EU AI Act Artikel 3. Som utvecklare ansvarar företaget för systemets design, utveckling och träning enligt kraven i Artikel 16, medan rollen som leverantör medför ansvar för efterlevnad av skyldigheterna enligt Artikel 16 samt säkerställande av att systemet uppfyller alla tillämpliga krav innan det görs tillgängligt på EU-marknaden.

Enligt Artikel 11 och Annex IV punkt 1 dokumenteras härmed att MedTech Solutions AB bär det fullständiga ansvaret för AI-systemets överensstämmelse med EU AI Act:s bestämmelser för högrisk-AI-system, inklusive genomförande av conformity assessment-förfaranden och upprättande av EU-försäkran om överensstämmelse innan systemet marknadsförs inom Europeiska unionen.

1. Allmän beskrivning

Systemversion

Detta tekniska dokumentationsunderlag avser AI-systemet i version v2.1. Versionsspecifikationen utgör en grundläggande komponent i den allmänna beskrivningen av AI-systemet enligt kraven i Artikel 11 och Annex IV punkt 1 i EU AI Act.

Versionsnumret v2.1 identifierar den specifika iteration av AI-systemet som omfattas av denna dokumentation och de tillhörande riskhanteringsåtgärderna. All teknisk dokumentation, riskbedömning och efterlevnadsåtgärder som beskrivs i detta underlag gäller specifikt för denna systemversion.

Systemintegrationer och hårdvaru-/mjukvaruberoenden

Enligt Artikel 11 och Annex IV punkt 1 i EU AI Act ska AI-systemets interaktioner med annan hårdvara och mjukvara dokumenteras. Systemet är utformat för integration med befintlig sjukvårdsinfrastruktur och interagerar med flera kritiska systemkomponenter inom vårdmiljön.

Systemet integreras med journalsystemet TakeCare via standardiserat HL7 FHIR API för säker överföring av patientdata och journalinformation. Vidare kopplas systemet till laboratoriets informationssystem för realtidshämtning av provsvar, vilket möjliggör uppdaterad diagnostisk information i beslutsprocessen. För radiologisk bildhantering etableras integration med PACS (Picture Archiving and Communication System) för åtkomst till röntgenbilder och annan medicinsk bilddiagnostik. Dessa integrationer säkerställer att AI-systemet kan leverera beslutsstöd baserat på komplett och aktuell patientinformation från olika medicinska datakällor.

1. Allmän beskrivning

Leveransmodell

AI-systemet levereras som en molnbaserad programvarutjänst (Software as a Service, SaaS) enligt Artikel 11 och Annex IV punkt 1 i EU AI Act. Denna leveransmodell innebär att systemet tillhandahålls via internet genom en webbläsarbaserad gränssnitt eller API-kopplingar, där all beräkningskapacitet och datalagring sker i leverantörens molninfrastruktur.

SaaS-leveransen möjliggör centraliserad systemhantering, automatiska uppdateringar och skalbar tillgång för användarna utan krav på lokal installation av hårdvara eller mjukvara. Användarna får tillgång till systemets funktionalitet genom säkra nätverksanslutningar, vilket säkerställer konsekvent prestanda och överensstämmelse med gällande säkerhets- och dataskyddskrav.

1. Allmän beskrivning

Hårdvarukrav och systemarkitektur

I enlighet med Artikel 11 och Annex IV punkt 1 i EU AI Act specificeras följande hårdvarukrav för systemets drift. Systemet är utformat med en distribuerad arkitektur där användargränssnittet körs på klienthårdvara medan AI-bearbetningen sker på dedikerad molninfrastruktur.

För klientsidan krävs en vanlig arbetsstation eller bärbar dator utrustad med en modern webbläsare. Backend-komponenten, som utför AI-systemets kärnfunktioner, körs på GPU-servrar utrustade med NVIDIA A100-processorer i molnmiljö. Denna arkitektur säkerställer att systemet kan leverera avsedd prestanda samtidigt som hårdvarukraven för slutanvändare hålls på en rimlig nivå. Molnbaserad GPU-infrastruktur möjliggör skalbarhet och säkerställer att beräkningsintensiva AI-operationer kan utföras effektivt utan att belasta klienthårdvaran.

1. Allmän beskrivning

Avsedda användare

Enligt Artikel 11 och Annex IV punkt 1 i EU AI Act definieras systemets avsedda användare som professionella aktörer inom hälso- och sjukvården med specialiserad medicinsk kompetens. De primära användargrupperna omfattar kardiologer, allmänläkare och sjuksköterskor som är verksamma på kardiologiska kliniker och enheter.

Dessa användarkategorier har erforderlig medicinsk utbildning och klinisk erfarenhet för att tolka systemets utdata och integrera AI-assisterade analyser i det medicinska beslutsfattandet. Användarna förutsätts ha fördjupad kunskap inom kardiologi och förmåga att kritiskt bedöma AI-systemets rekommendationer i relation till patientens kliniska tillstånd och övriga diagnostiska data.

1.5 Berörda personer

Enligt Annex IV punkt 1 identifieras de personer som påverkas av AI-systemets beslut och rekommendationer. Systemet påverkar primärt patienter som genomgår utredning för hjärt-kärlsjukdomar, med särskild fokus på vuxna individer över 40 år som utgör den huvudsakliga målgruppen för denna typ av medicinsk bedömning.

De berörda personernas påverkan manifesteras genom att systemets analyser och rekommendationer influerar läkarens förslag avseende fortsatta undersökningar och behandlingsalternativ. Detta innebär att systemets utdata har direkta konsekvenser för patienternas vårdförlopp, diagnostiska procedurer och terapeutiska interventioner inom hjärt-kärlmedicinska området, vilket klassificerar dessa individer som direkt berörda personer enligt AI-förordningens definition i Artikel 11.

2. Design och utveckling

AI/ML-teknik

Systemet baseras på djupinlärning med neurala nätverk samt övervakad maskininlärning (supervised learning). Den djupinlärningsbaserade arkitekturen möjliggör automatisk extraktion av komplexa mönster och representationer från träningsdata genom flera lager av neurala nätverk. Supervised learning-komponenten innebär att modellen tränas på märkt data där korrekt utdata är känt, vilket möjliggör systematisk optimering av systemets prediktionsförmåga.

Denna teknikkombination har valts för att uppnå de prestationskrav som ställs på systemet, där djupinlärningens förmåga att hantera högdimensionell data kombineras med den kontrollerade träningsprocess som supervised learning erbjuder. Designvalet stödjer systemets förmåga att generera tillförlitliga och reproducerbara resultat i enlighet med kraven i Artikel 11 avseende teknisk robusthet och noggrannhet.

2. Design och utveckling

Systemets beslutsprocess

Systemet implementerar en strukturerad beslutsprocess i enlighet med kraven i Artikel 11 och Annex IV punkt 2. Beslutsgången följer följande steg: Systemet tar emot strukturerad patientdata omfattande ålder, kön, blodtryck, kolesterolvärden och EKG-data som indata. Dessa data processeras genom en ensemble-modellarkitektur bestående av två komplementära komponenter - en gradient boosting-klassificerare för hantering av de strukturerade patientparametrarna och ett konvolutionellt neuralt nätverk (CNN) specifikt utvecklat för EKG-dataanalys.

Vardera modellkomponent genererar en individuell riskpoäng baserat på sina respektive datadomäner, vilka sedan kombineras genom en viktningsalgoritm för att producera systemets slutgiltiga rekommendation. Resultatet presenteras tillsammans med ett tillhörande konfidensintervall som indikerar osäkerheten i prediktionen. Denna ensemble-arkitektur möjliggör utnyttjande av både traditionella kliniska parametrar och avancerad signalanalys av EKG-data för att leverera robusta riskbedömningar inom systemets avsedda användningsområde.

2. Design och utveckling

Systemets tekniska arkitektur följer en mikroservicebaserad designfilosofi i enlighet med kraven i Artikel 11 och Annex IV punkt 2. Arkitekturen består av en React-baserad frontend som kommunicerar via ett API Gateway med en dedikerad prediktionsservice implementerad i Python med FastAPI-ramverket. ML-modellerna levereras genom ONNX Runtime för optimerad inferens, medan patientdata integreras via en FHIR-adapter som säkerställer standardiserad kommunikation med befintliga journalsystem.

Systemet distribueras i en privat molnmiljö hos en svensk molnleverantör med ISO 27001-certifiering, vilket säkerställer adekvat säkerhetsnivå för behandling av känsliga hälsodata. Dataflödet följer en strukturerad väg från journalsystemet genom FHIR-adaptern till prediktionstjänsten, där ML-modellerna processerar informationen innan resultatet returneras via API Gateway till användarens frontend. Denna arkitektur möjliggör både skalbarhet och separation av ansvar mellan systemkomponenterna, samtidigt som den säkerställer spårbarhet och kontroll över databehandlingen enligt regulatoriska krav.

2. Design och utveckling

Komponenter och tredjepartsmodeller

Systemet bygger på en hybridarkitektur som kombinerar förtränade komponenter med anpassade lösningar enligt kraven i Artikel 11 och Annex IV punkt 2. Som central komponent används en förtränad ResNet-modell för EKG-analys, vilken har finjusterats på leverantörens egen träningsdata för att optimera prestanda för den specifika tillämpningen. För maskininlärningsuppgifter integreras XGBoost från open source-biblioteket, medan scikit-learn används för feature engineering och databearbetning.

Inferens genomförs via ONNX Runtime, vilket säkerställer standardiserad modellexekvering och plattformsoberoende. Denna arkitektur möjliggör effektiv resursutnyttjande genom att kombinera beprövade, förtränade komponenter med domänspecifik anpassning, samtidigt som systemets transparens och spårbarhet bibehålls genom användning av etablerade open source-ramverk.

2. Design och utveckling

Centrala designval och motivering

Systemet bygger på en ensemble-arkitektur som kombinerar XGBoost och Convolutional Neural Network (CNN) för att optimera både prediktiv prestanda och förklarbarhet i enlighet med kraven i Artikel 11. Detta designval motiverades av behovet att tillhandahålla transparent och begriplig information till medicinska användare om de faktorer som driver riskbedömningen.

XGBoost-komponenten valdes specifikt för sin förmåga att generera feature importance-värden som möjliggör förklaring av vilka kliniska parametrar som bidrar mest till den individuella riskprofilen. CNN-komponenten implementerades för att hantera EKG-signaldata där djupinlärningstekniker är nödvändiga för att extrahera relevanta mönster från den tidsseriella signaldatan. Denna hybridarkitektur säkerställer att systemet uppfyller både prestanda- och transparenskraven enligt Annex IV punkt 2, genom att balansera avancerad mönsterigenkänning med regelverkskompatibel förklarbarhet för medicinska beslutsfattare.

Beräkningsresurser

Systemet är dimensionerat för att uppfylla prestanda- och tillgänglighetskrav enligt Artikel 11 i EU AI Act. För träningsfasen krävs två NVIDIA A100 GPU-enheter under en period av cirka åtta timmar, vilket möjliggör effektiv modellträning med tillräcklig beräkningskapacitet för att säkerställa robust prestanda.

Under inferensfasen (körning) kräver systemet två virtuella CPU-kärnor samt 4 GB RAM per instans för att leverera förutsägelser med en svarstid under 200 millisekunder. Denna resursallokering är dimensionerad för att upprätthålla systemets prestanda och tillförlitlighet i enlighet med designspecifikationerna i Annex IV punkt 2, samtidigt som den säkerställer skalbarhet och kostnadseffektivitet i produktionsmiljö.

3. Träningsdata

Systemet har tränats på strukturerad patientdata från tre svenska sjukhus, omfattande journaldata inklusive diagnoser, laboratorieparametrar och vitala parametrar samt EKG-registreringar. Datasetet sträcker sig över en tioårsperiod från 2014 till 2024 och inkluderar patienter som genomgått utredning för hjärt-kärlsjukdomar. Denna omfattande datainsamling från multipla källor säkerställer en bred representation av den målpopulation som systemet är avsett att stödja, i enlighet med kraven i Artikel 10(3) EU AI Act.

Träningsdatan består av personuppgifter av känslig natur enligt GDPR, vilket kräver särskilda skyddsåtgärder och laglig grund för behandling. Användningen av historisk patientdata från svenska vårdgivare möjliggör träning på representativa svenska patientpopulationer, vilket är kritiskt för systemets prestanda och tillförlitlighet inom det svenska sjukvårdssystemet, i enlighet med datastyrningskraven enligt Annex IV punkt 2(b) och (c).

3. Träningsdata

Datainsamling

Träningsdata för AI-systemet samlas in från kunddata med uttryckligt samtycke från berörda personer. Denna insamlingsmetod säkerställer att behandlingen av personuppgifter sker på en laglig grund enligt GDPR:s samtyckesprincip, vilket är av avgörande betydelse för efterlevnad av Artikel 10 i EU AI Act som kräver att datakälla och insamlingsmetod dokumenteras tydligt.

Den samtyckebaserade insamlingsprocessen innebär att kunder aktivt godkänner användningen av sina data för träning av AI-systemet, vilket ger en transparent och kontrollerad datakälla. Denna metod möjliggör också bättre spårbarhet och datastyrning enligt kraven i Annex IV punkt 2, då samtyckets omfattning och villkor kan dokumenteras och hanteras systematiskt genom hela datalivscykeln.

3. Träningsdata

Dataförberedelse och rensning

Träningsdatan har genomgått omfattande förberedelse och kvalitetskontroll i enlighet med artikel 10 i EU AI Act. Dubbletter har systematiskt identifierats och eliminerats baserat på patient-ID för att säkerställa dataintegriteten. Saknade labvärden har hanterats genom medianimputation för att bevara datasetets fullständighet utan att introducera systematiska skevheter. EKG-signaler har normaliserats till standardiserad längd och samplingsfrekvens för att säkerställa konsistens i signalbehandlingen.

Personuppgifter har pseudonymiserats genom att personnummer ersatts med slumpmässiga identifierare för att skydda patienternas integritet enligt artikel 10.3. Extremvärden och potentiella outliers har flaggats automatiskt och därefter genomgått manuell granskning av kvalificerade kliniker för att säkerställa att endast relevanta och korrekta datapunkter inkluderas i träningsdatasetet. Denna systematiska approach till dataförberedelse enligt kraven i Annex IV punkt 2(b) säkerställer både datakvalitet och efterlevnad av dataskyddsbestämmelser.

3. Träningsdata

Datamärkning och annotering

Träningsdatan har märkts med diagnoskoder enligt International Classification of Diseases, 10th Revision (ICD-10), vilka extraherats direkt från det kliniska journalsystemet. Denna standardiserade kodningsmetod säkerställer enhetlighet och spårbarhet i märkningsprocessen enligt kraven i Annex IV punkt 2(c).

För att validera kvaliteten på datamärkningen genomfördes en oberoende verifiering av två kvalificerade kardiologer på ett slumpmässigt urval om 2 000 fall. Valideringsprocessen uppvisade en inter-rater agreement med Cohen's kappa-värde på 0,87, vilket indikerar hög överensstämmelse och tillförlitlighet i märkningsprocessen. Denna kvalitetskontroll utgör en väsentlig del av de datastyrningsåtgärder som krävs enligt Artikel 10 för att säkerställa träningsdatans lämplighet och representativitet för det avsedda användningsområdet.

3.4 Bias- och skevhetsanalys

Leverantören har genomfört undersökningar för att identifiera potentiell bias och skevheter i träningsdatan, i enlighet med kraven i Artikel 10.3 EU AI Act. Denna analys utgör en väsentlig del av de datastyrningsåtgärder som implementerats för att säkerställa att AI-systemet uppfyller kraven på hög kvalitet och representativitet i träningsdata enligt Annex IV punkt 2(d).

De genomförda undersökningarna syftar till att identifiera systematiska snedfördelningar eller brister i datarepresentationen som skulle kunna påverka AI-systemets prestanda negativt eller resultera i diskriminerande utfall för specifika grupper eller användningsområden.

Identifiering och hantering av bias i träningsdata

I enlighet med kraven i Artikel 10 och Annex IV punkt 2(d) har leverantören implementerat systematiska processer för att identifiera och hantera potentiell bias i träningsdata. Prestandaanalys genomförs genom uppdelning av modellens resultat baserat på demografiska attribut inklusive kön, ålder och etnisk bakgrund. Denna analys identifierade en signifikant underrepresentation av kvinnor över 70 år i datasetet, vilket åtgärdades genom tillämpning av oversampling-tekniker för att säkerställa mer balanserad representation i träningsdata.

För att upprätthålla kontinuerlig övervakning av bias implementerar leverantören kvartalsvisa bias-granskningar med hjälp av Fairlearn-ramverket. Dessa regelbundna utvärderingar säkerställer löpande identifiering av potentiella skevheter och möjliggör proaktiva korrigerande åtgärder i enlighet med datastyrningskraven enligt Artikel 10. Denna systematiska approach till bias-hantering utgör en väsentlig komponent i leverantörens riskhanteringssystem och bidrar till att uppfylla kraven på hög prestanda, förutsägbarhet och robusthet som specificeras i EU AI Act.

3. Träningsdata

Hantering av personuppgifter

Träningsdatan innehåller personuppgifter som har genomgått anonymiseringsprocesser innan användning i AI-systemet. Anonymiseringen har implementerats i enlighet med dataskyddsprinciperna för att säkerställa att enskilda individer inte kan identifieras från den processade datan. Detta tillvägagångssätt följer kraven i Artikel 10 avseende datastyrning och säkerställer efterlevnad av gällande dataskyddsbestämmelser.

Användningen av anonymiserad persondata som träningsunderlag dokumenteras som en del av systemets datastyrningsramverk enligt Annex IV punkt 2(d), där all databehandling sker under kontrollerade former med hänsyn till både AI-systemets prestanda och individers integritet.

3. Träningsdata

Datavolym och omfattning

Träningsdatasetet omfattar totalt cirka 15 GB strukturerad data, bestående av 120 000 patientjournaler och 85 000 EKG-registreringar. Denna datavolym bedöms som tillräcklig för att säkerställa robust modellträning och uppfylla kraven enligt Artikel 10 EU AI Act avseende representativitet och kvalitet i träningsdata.

Datasetet utgör grunden för systemets tränings-, validerings- och testprocesser i enlighet med Annex IV punkt 2(b), där omfattningen av 205 000 dataposter totalt möjliggör adekvat uppdelning mellan dessa olika dataset för att säkerställa korrekt modellvalidering och prestationsbedömning.

4. Testning och validering

Systemet har genomgått omfattande testning genom flera komplementära metoder i enlighet med Artikel 9.5 och Annex IV punkt 2(e). Extern granskning och audit har genomförts av oberoende tredje part för att säkerställa objektiv bedömning av systemets prestanda och regelefterlevnad. Korsvalidering har tillämpats för att validera modellens generaliseringsförmåga och minimera risken för överanpassning till träningsdata.

Teststrategin omfattar även stresstester och edge cases för att identifiera systemets begränsningar under extrema eller ovanliga förhållanden, vilket är kritiskt för att förutse och dokumentera förutsägbara risker enligt Artikel 9.6. All testning har genomförts på separerad testdata som hållits åtskild från träningsdata för att säkerställa objektiva prestandamått. Denna metodkombination säkerställer robust validering av systemets tillförlitlighet och prestanda enligt de krav som specificeras i Annex IV punkt 2(f)-(g).

4. Testning och validering

Prestandamått

I enlighet med kraven i Artikel 11 samt Annex IV punkt 2(e) använder systemet följande etablerade prestandamått för att säkerställa korrekt funktion och riskhantering:

För riskklassificering tillämpas AUC-ROC (Area Under the Curve - Receiver Operating Characteristic) som huvudsakligt diskrimineringsmått. Detta kompletteras med sensitivity och specificity för varje enskild diagnoskategori för att säkerställa balanserad prestanda över alla medicinska klassificeringar. För den binära klassificeringen mellan högrisk- och lågriskfall används F1-score som kombinerar precision och recall för optimal balans mellan falska positiver och falska negativ.

Systemets kalibrering verifieras genom kalibreringskurvor som säkerställer att de rapporterade konfidensintervallen överensstämmer med faktisk prestanda, vilket är kritiskt för tillförlitlig riskbedömning enligt Annex IV punkt 2(f). Dessa mått möjliggör systematisk utvärdering av systemets prestanda och identifiering av potentiella begränsningar i enlighet med regulatoriska krav för högrisk-AI-system.

4. Testning och validering

4.3 Testresultat och prestandamått

Systemets prestanda har utvärderats enligt kraven i Artikel 11 och Annex IV punkt 2(e)-(g) genom omfattande testning på oberoende testdata. Följande resultat har uppnåtts:

Övergripande prestanda: Area Under the Curve - Receiver Operating Characteristic (AUC-ROC) uppgick till 0.94 på testdatasetet, vilket indikerar stark diskrimineringsförmåga. Sensitiviteten (recall) uppmättes till 92% medan specificiteten var 89%. F1-score på 0.91 visar balanserad prestanda mellan precision och recall. Kalibreringsmåttet Expected Calibration Error (ECE) var 0.03, vilket tyder på god sannolikhetsestimering.

Testning per undergrupp: I enlighet med kraven på rättvis behandling har särskild utvärdering genomförts för underrepresenterade demografiska grupper. För kvinnor över 70 år uppnåddes en AUC på 0.89 efter korrigering genom oversampling-teknik, vilket visar att systemet bibehåller acceptabel prestanda även för denna undergrupp trots den initiala underrepresentationen i träningsdata.

4. Testning och validering

Testning per undergrupp

I enlighet med kraven i Artikel 11 och Annex IV punkt 2(e) har systemet testats för att identifiera potentiella skillnader i prestanda mellan olika demografiska grupper. Prestandaanalysen har genomförts genom uppdelning av testdata enligt följande undergrupper: kön, åldersgrupper (under 50 år, 50-70 år, över 70 år) samt geografisk tillhörighet (storstad kontra landsbygd).

Testresultaten visar på identifierade prestandavariationer där något lägre prestanda observerats för kvinnor över 70 år samt för patienter från landsbygdskliniker. Den preliminära orsaksanalysen indikerar att dessa prestandaskillnader sannolikt är relaterade till underrepresentation av motsvarande grupper i de träningsdata som använts för systemutveckling. Dessa identifierade begränsningar dokumenteras som en del av systemets kända risker och begränsningar enligt kraven i Annex IV punkt 2(g).

4.5 Identifierade systembegränsningar

Enligt Artikel 9.6 och Annex IV punkt 2(f) har följande väsentliga begränsningar identifierats genom testning och validering av AI-systemet. Systemet uppvisar försämrad prestanda vid ofullständiga labvärden, specifikt när mer än 30% av de förväntade laboratorieparametrarna saknas i indata. Detta representerar en kritisk begränsning som kräver fullständiga datamängder för tillförlitlig funktion.

EKG-analyskomponenten är begränsad till standardiserade 12-avlednings-EKG och är inte kompatibel med data från bärbara enheter eller alternativa EKG-konfigurationer. Vidare har systemet identifierats som opålitligt vid detektering av mycket sällsynta medicinska tillstånd med prevalens under 0.1% i populationen, vilket reflekterar otillräcklig träningsdata för dessa kantfall. Dessa begränsningar utgör förutsägbara risker enligt Artikel 9.7 och kräver tydlig kommunikation till användare för att säkerställa lämplig användning inom systemets validerade prestationsområde.

4. Testning och validering

Testloggar och dokumentation

Enligt kraven i Artikel 11 och Annex IV punkt 2(e) upprätthåller leverantören ett strukturerat system för dokumentation av testaktiviteter. Testloggar sparas systematiskt med fullständig spårbarhet avseende datum för genomförda tester samt identifiering av ansvarig testpersonal. Detta säkerställer att all testning och validering kan följas och verifieras i enlighet med de tekniska dokumentationskrav som fastställs i förordningen.

Loggningssystemet möjliggör efterlevnad av kraven på transparent och verifierbar testprocess, vilket är centralt för att demonstrera att AI-systemet har genomgått adekvat validering innan marknadslansering enligt Artikel 9.

5. Riskhantering

Leverantören har etablerat ett riskhanteringssystem i enlighet med artikel 9 i EU AI Act för att systematiskt identifiera, analysera och hantera risker förknippade med AI-systemet. Följande primära risker har identifierats genom riskanalysprocessen:

Tekniska och kliniska risker: Felaktig riskbedömning som kan resultera in missad diagnos eller onödig medicinsk utredning, vilket direkt påverkar patientsäkerhet och vårdkvalitet. Systematisk bias mot underrepresenterade patientgrupper har identifierats som en betydande risk som kan leda till ojämlik vård och diskriminering enligt artikel 9.9. Risken för överförlitande, där medicinska vårdgivare förlitar sig okritiskt på AI-systemets rekommendationer utan egen professionell bedömning, utgör en risk för rimligt förutsebar felanvändning enligt artikel 9.2(b).

Integritetsskyddsrisker: Risk för integritetsintrång genom dataläckage av känsliga patientuppgifter har identifierats som en kritisk risk som kräver särskilda skyddsåtgärder. Dessa identifierade risker utgör grunden för de riskbegränsande åtgärder som specificeras i riskhanteringsplanen, med målet att eliminera eller reducera riskerna till acceptabla nivåer enligt artikel 9.2(c) och (d).

5. Riskhantering

5.3 Identifierade risker vid felanvändning

Enligt Artikel 9.2(b) EU AI Act har följande risker identifierats vid rimligt förutsebar felanvändning av systemet:

Automatiserad beslutsfattning utan mänsklig övervakning: Systemet riskerar att användas som ensam beslutsfattare utan erforderlig mänsklig granskning och validering av rekommendationer. Denna felanvändning kan leda till felaktiga beslut med betydande konsekvenser för berörda personer, särskilt i kritiska tillämpningar där mänsklig bedömning är nödvändig för att säkerställa rättvisande och proportionerliga utfall.

Manipulation genom fabricerad indata: Systemet kan missbrukas genom att avsiktligt mata in falsk eller manipulerad data i syfte att generera önskade men felaktiga rekommendationer. Detta utgör en särskild risk för bedräglig verksamhet, exempelvis inom försäkringssektorn där fabricerad information kan användas för att generera gynnsamma bedömningar som underlag för bedrägerier. Sådan manipulation undergräver systemets integritet och kan resultera i ekonomisk skada samt urholkning av förtroendet för AI-baserade beslutsstödsystem.

5. Riskhantering

5.1 Riskmitigeringsåtgärder

För att eliminera eller minska identifierade risker enligt artikel 9.2(c) har följande tekniska och organisatoriska säkerhetsåtgärder implementerats:

Mänsklig övervakning och kontroll: Obligatorisk mänsklig granskning säkerställer att systemet aldrig fattar slutgiltiga beslut autonomt, utan enbart tillhandahåller rekommendationer som kräver human validering. Konfidensintervall visas genomgående för att möjliggöra informerade beslut, kompletterat med automatiska varningar vid låg systemkonfidens för att förhindra felaktiga tolkningar av osäkra utdata.

Säkerhet och integritet: Åtkomstkontroll med rollbaserad behörighet begränsar systemtillgång enligt principen om lägsta nödvändiga privilegium. All patientdata skyddas genom kryptering både i transit och i vila för att upprätthålla konfidentialitet och integritet. Kvartalsvis bias-audit genomförs systematiskt för att identifiera och korrigera potentiella fördomsfulla mönster som kan påverka systemets rättvisa och noggrannhet, vilket är särskilt kritiskt för att säkerställa lika behandling av alla patientgrupper.

5.4 Kvarvarande risker

Efter implementering av riskmitigerande åtgärder kvarstår två primära risker som bedöms som acceptabla enligt artikel 9.2. Den första kvarvarande risken avser modellens begränsade förmåga att detektera sällsynta medicinska tillstånd, vilket kan resultera i missade diagnoser eller fördröjd behandling. Den andra identifierade risken rör potentiell bias som kan uppstå vid förändringar i patientpopulationen över tid (data drift), vilket kan påverka systemets prestanda för specifika demografiska grupper eller nya sjukdomspresentationer.

Dessa kvarvarande risker bedöms som acceptabla med hänsyn till systemets användning som beslutsstöd med obligatorisk mänsklig granskning enligt artikel 9.2. Riskbedömningen stöds av kontinuerliga övervakningsmekanismer som möjliggör tidig upptäckt av prestandaförsämring. Den mänskliga granskningsprocessen fungerar som en kritisk säkerhetsbarriär som kan kompensera för modellens begränsningar och säkerställa att kliniska beslut fattas med fullständig medicinsk expertis.

5. Riskhantering

5.4 Påverkan på utsatta grupper

Systemet kan påverka barn, äldre eller andra utsatta grupper. I enlighet med artikel 9.9 EU AI Act har särskild hänsyn tagits till denna påverkan inom riskhanteringssystemet. Identifiering och analys av risker enligt artikel 9.2(a) inkluderar specifik utvärdering av hur systemets funktionalitet och potentiella fel kan påverka dessa särskilt sårbara användargrupper.

Riskhanteringssystemet omfattar därför förstärkta åtgärder för att eliminera eller minska risker som specifikt berör utsatta grupper, samt säkerställer att eventuella kvarvarande risker förblir acceptabla med särskild hänsyn till dessa gruppers specifika behov och sårbarheter.

5.4 Skydd av utsatta grupper

Riskhanteringssystemet implementerar särskilda skyddsåtgärder för utsatta grupper i enlighet med artikel 9.9. Äldre patienter (70 år och äldre) har identifierats som en särskilt utsatt grupp inom hjärt-kärldiagnostik och omfattas av förstärkta säkerhetsmekanismer. För denna patientgrupp tillämpas lägre konfidenströsklar som automatiskt triggar obligatorisk specialistgranskning, vilket säkerställer att diagnostiska beslut för utsatta individer genomgår ytterligare kvalitetskontroll.

Systemets träningsdata har kompletterats genom översampling av data från äldre patienter för att säkerställa att AI-modellens prestanda och tillförlitlighet är optimerad för denna specifika population. Dessa riktade åtgärder bidrar till att eliminera eller väsentligt minska identifierade risker för feldiagnostik eller otillräcklig diagnostisk noggrannhet hos utsatta grupper, i enlighet med kraven i artikel 9.2(c) och (d).

6. Mänsklig tillsyn

Systemet implementerar mänsklig tillsyn genom en integrerad dashboard där behandlande läkare presenteras med AI:ns rekommendation tillsammans med förklarande faktorer (feature importance) som möjliggör förståelse av systemets beslutsunderlag enligt Artikel 14.4(a). Alla systemrekommendationer loggas med tidsstämpel tillsammans med läkarens slutgiltiga beslut (accepterade eller avvisade rekommendationer), vilket säkerställer fullständig spårbarhet av tillsynsprocessen och ger läkaren möjlighet att åsidosätta eller avvisa AI:ns förslag enligt Artikel 14.4(d).

På aggregerad nivå har chefen för kardiologkliniken tillgång till prestationsstatistik som möjliggör kontinuerlig övervakning av systemets prestanda och identifiering av eventuella avvikelser eller bias-mönster. Detta flernivåsystem för mänsklig tillsyn säkerställer att kvalificerade personer med relevant medicinsk expertis kan övervaka och kontrollera AI-systemets funktion under hela dess operativa livscykel enligt kraven i Artikel 14.1-14.2.

6. Mänsklig tillsyn

Möjlighet att stoppa eller ändra systemets beslut

Enligt Artikel 14.4(d) i EU AI Act säkerställs att personer med tillsynsansvar kan bortse från, åsidosätta eller reversera AI-systemets beslut. Systemet är utformat med obligatorisk mänsklig granskning där varje beslut som genereras av AI-systemet granskas av en kompetent person innan det verkställs. Denna granskning möjliggör att beslutet kan stoppas, modifieras eller helt åsidosättas baserat på den mänskliga bedömarens utvärdering.

Denna implementation säkerställer efterlevnad av kravet på mänsklig tillsyn enligt Artikel 14.2, där tillsynsåtgärderna är anpassade till systemets risknivå genom att kräva aktiv mänsklig intervention före alla beslut. Processen är utformad för att förhindra automation bias enligt Artikel 14.4(b) genom att placera den slutgiltiga beslutsmakten hos den mänskliga granskaren snarare än att automatiskt verkställa AI-systemets förslag.

6.1 Befogenhet för ingripande

Enligt Artikel 14.4(d) EU AI Act ska personer med ansvar för mänsklig tillsyn ha befogenhet att bortse från, åsidosätta eller reversera AI-systemets beslut. För detta AI-system har behandlande läkare, definierat som legitimerad kardiolog eller allmänläkare med kardiologisk vidareutbildning, full befogenhet att ingripa i systemets drift och beslut.

Denna befogenhetsstruktur säkerställer att personer med adekvat medicinsk kompetens och klinisk erfarenhet, i enlighet med Artikel 14.4(a), har möjlighet att förstå AI-systemets kapacitet och begränsningar inom det kardiologiska området. Den medicinska legitimeringen och specialistkompetensen garanterar att tillsynspersonen besitter nödvändig kunskap för att fatta välgrundade beslut om när systemets rekommendationer ska åsidosättas eller kompletteras med ytterligare klinisk bedömning.

6. Mänsklig tillsyn

Utbildning av tillsynspersonal

För att säkerställa adekvat mänsklig tillsyn enligt Artikel 14 EU AI Act genomgår all personal som övervakar AI-systemet obligatorisk introduktionsutbildning om 4 timmar. Utbildningen omfattar systemets funktionalitet och tekniska begränsningar, tolkning av konfidensintervall samt riktlinjer för när tillsynspersonal bör bortse från AI:ns rekommendationer. Detta säkerställer att tillsynspersonalen förstår AI-systemets kapacitet och begränsningar enligt kraven i Artikel 14.4(a), samt har kompetens att identifiera situationer där manuell intervention krävs för att undvika automation bias enligt Artikel 14.4(b).

Årlig repetitionsutbildning genomförs för att hålla tillsynspersonalen uppdaterad om nya modellversioner och systemförändringar. Denna kontinuerliga kompetensutveckling säkerställer att den mänskliga tillsynen förblir effektiv under hela AI-systemets livscykel enligt Artikel 14.1, och att tillsynspersonalen bibehåller förmågan att åsidosätta eller reversera AI-systemets beslut när det bedöms nödvändigt enligt Artikel 14.4(d).

7. Transparens och användningsinstruktioner

Leverantören tillhandahåller omfattande transparensinformation till användarna av AI-systemet i enlighet med kraven i Artikel 13 och Annex IV punkt 3. En komplett användarmanual tillhandahålls som inkluderar systemets syfte, funktioner och begränsningar för att säkerställa att användarna förstår systemets kapacitet och restriktioner. Inline-hjälptexter integreras direkt i användargränssnittet för att ge kontextuell vägledning och främja korrekt användning av systemet.

För att stödja teknisk implementation och drift tillhandahålls teknisk dokumentation specifikt anpassad för IT-avdelningen. Systemets prestanda övervakas kontinuerligt och rapporteras till klinikledningen genom kvartalsrapporter som dokumenterar aktuella prestandanivåer. Denna strukturerade informationsdelning säkerställer att användarna på olika nivåer får relevant information för sina respektive roller och ansvar, vilket underlättar korrekt användning och tolkning av systemets output enligt transparenskraven i förordningen.

7.5 Kommunikation av systembegränsningar

Enligt Artikel 13.1 och Annex IV punkt 3 kommunicerar leverantören tydligt de operationella begränsningar som användare måste vara medvetna om för säker användning. Systemet ska aldrig användas som ensam grund för medicinsk diagnos, vilket tydligt kommuniceras för att säkerställa att AI-utdata alltid kompletterar och inte ersätter klinisk bedömning. Ytterligare begränsningar inkluderar att systemet inte fungerar tillförlitligt när mer än 30% av labvärden saknas, inte är validerat för patienter under 18 år, och kräver standard 12-avlednings-EKG för korrekt EKG-analys.

Leverantören informerar också användare om att sällsynta medicinska tillstånd med prevalens under 0,1% kan missas av systemet, vilket är kritisk information för klinisk riskbedömning enligt Annex IV punkt 3. Denna transparenta kommunikation av begränsningar möjliggör för användare att fatta välgrundade beslut om när och hur systemet ska användas inom ramen för dess validerade prestanda och säkra användningsområde.

7. Transparens och användningsinstruktioner

7.1 Information om AI-interaktion

Systemet är utformat för att säkerställa tillräcklig transparens enligt artikel 13.1, där slutanvändare tydligt informeras om att de interagerar med ett AI-system. Denna information tillhandahålls på ett sätt som gör det möjligt för användare att fatta välgrundade beslut om sin interaktion med systemet och förstå att automatiserade beslut eller rekommendationer genereras av artificiell intelligens.

Transparensinformationen integreras i systemets användargränssnitt och dokumentation enligt kraven i Annex IV punkt 3, vilket säkerställer att användare får nödvändig vägledning för att tolka systemets output och förstå dess roll i beslutsprocessen. Detta bidrar till att uppfylla de grundläggande transparenskraven för högrisk-AI-system och främjar ansvarsfull användning av teknologin.

7. Transparens och användningsinstruktioner

Tolkningsstöd för systemoutput

Systemet tillhandahåller strukturerat tolkningsstöd för användare i enlighet med transparenskraven i Artikel 13.1. Varje systemrekommendation presenteras med ett konfidensintervall kategoriserat som hög, medel eller låg konfidens, vilket möjliggör för användaren att bedöma tillförlitligheten i den automatiserade bedömningen. Systemet identifierar och presenterar de tre mest betydelsefulla faktorerna som påverkat den aktuella rekommendationen, vilket ger användaren insikt i beslutsgrunderna.

För att säkerställa korrekt riskbedömning implementerar systemet visuella indikatorer genom färgkodning (grön/gul/röd) som tydligt signalerar risknivån för varje rekommendation. Vid låga konfidensnivåer aktiveras automatiska varningar som uppmärksammar användaren på den reducerade tillförlitligheten. Systemet erbjuder detaljerad fördjupningsfunktionalitet där användaren kan komma åt omfattande förklaringar för varje påverkande faktor, vilket stödjer informerat beslutsfattande och uppfyller kraven på adekvat transparens enligt Annex IV punkt 3.

8. Noggrannhet, robusthet och cybersäkerhet

Prestandanivåer

Systemet uppnår följande verifierade prestandanivåer i enlighet med kraven i Artikel 15.1 EU AI Act. Den statistiska noggrannheten mäts genom AUC-ROC (Area Under the Curve - Receiver Operating Characteristic) på 0.94, vilket indikerar hög diskrimineringsförmåga. Systemets känslighet (sensitivity) uppgår till 92% och specificitet till 89%, med en falskt positiv-frekvens på 11% och falskt negativ-frekvens på 8%. Dessa mätvärden överensstämmer med de prestandanivåer som deklarerats i systemdokumentationen enligt Annex IV punkt 3.

Avseende systemets operativa prestanda uppnår systemet en genomsnittlig svarstid på 180ms med 95:e percentilen på 350ms, vilket säkerställer tillräcklig responsivitet för avsett användningsområde. Systemets tillgänglighet under de senaste 12 månaderna uppgår till 99.7%, vilket demonstrerar robust drift och överensstämmelse med tillförlitlighetskraven enligt Artikel 15.4. Dessa prestandamått utgör grund för den kontinuerliga övervakning som krävs enligt systemets riskhanteringsprocess.

8.4 Hantering av prestandaförsämring över tid

Systemet implementerar proaktiv övervakning för att identifiera och hantera prestandaförsämring i enlighet med kraven på kontinuerlig noggrannhet enligt Artikel 15.1. Automatisk övervakning av modelldrift genomförs med verktyget Evidently AI, där veckovisa jämförelser utförs mellan inkommande datas distribution och det ursprungliga träningsdataset för att detektera statistiska förändringar som kan påverka systemets prestanda.

För att säkerställa att systemets deklarerade prestandanivåer upprätthålls har prestandalarm konfigurerats som utlöses när AUC-värdet sjunker under tröskelvärdet 0.90. Vid identifierad signifikant drift eller enligt planerat schema genomförs omträning av modellen var sjätte månad för att bibehålla robustheten enligt Artikel 15.4. Nya modellversioner valideras genom A/B-testning innan deployment för att säkerställa att prestandaförbättringar uppnås utan negativ påverkan på systemets tillförlitlighet och säkerhet.

Hantering av felaktig eller oväntad input

Systemet implementerar omfattande inputvalidering enligt kraven i Artikel 15.4 för att säkerställa robusthet mot felaktig eller oväntad indata. All input genomgår systematisk validering med rimlighetskontroller för att identifiera avvikande eller potentiellt felaktiga värden. Vid saknade obligatoriska datafält genererar systemet varningsmeddelanden men kan fortfarande leverera en partiell riskbedömning baserat på tillgänglig information, vilket säkerställer kontinuitet i kritiska beslutsprocesser.

För extremvärden eller statistiska avvikelser implementerar systemet en tvåstegsprocess där sådana värden flaggas för manuell verifiering innan slutgiltig bedömning genomförs. Vid korrupt eller helt otolkningsbar indata aktiveras systemets fail-safe-mekanism som returnerar ett tydligt felmeddelande istället för att generera en potentiellt felaktig riskbedömning. Denna approach säkerställer att användare aldrig presenteras med opålitliga resultat och att systemets integritet upprätthålls även under adversariella förhållanden, i enlighet med cybersäkerhetskraven i Artikel 15.5.

8.3 Cybersäkerhetsåtgärder

Systemet implementerar omfattande cybersäkerhetsåtgärder i enlighet med kraven i Artikel 15.5 och Annex IV punkt 3. All kommunikation säkras genom TLS 1.3-kryptering medan data i vila skyddas med AES-256-kryptering. Åtkomstkontroll hanteras genom rollbaserat system (RBAC) integrerat med Single Sign-On via SAML-protokoll, vilket säkerställer att endast auktoriserad personal kan komma åt systemfunktioner baserat på definierade roller och behörigheter.

För kontinuerlig säkerhetsövervakning genomförs årliga penetrationstester av extern leverantör för att identifiera sårbarheter och verifiera säkerhetsåtgärdernas effektivitet. Ett Web Application Firewall (WAF) placerat framför API:et ger skydd mot vanliga webbattacker och skadlig trafik. Samtliga API-anrop loggas och övervakas kontinuerligt med anomalidetektering för att identifiera potentiella säkerhetshot eller manipulationsförsök i realtid, vilket möjliggör snabb respons på säkerhetsincidenter.

8. Noggrannhet, robusthet och cybersäkerhet

Adversarial testing

I enlighet med kraven i Artikel 15.5 och Annex IV punkt 4 avseende cybersäkerhet och robusthet har systemet genomgått tester mot manipulationsförsök (adversarial attacks). Dessa tester syftar till att verifiera systemets motståndskraft mot avsiktlig manipulation av indata och att säkerställa att systemet upprätthåller sina säkerhetsfunktioner även vid exponering för adversariella hot.

Testning mot adversarial attacks utgör en väsentlig del av våra säkerhetsåtgärder för att uppfylla de robusthets- och cybersäkerhetskrav som ställs på högrisk-AI-system enligt Annex IV punkt 3-4, där systemets förmåga att hantera fel, inkonsekvent indata och säkerhetsrelaterade hot dokumenteras som en del av den tekniska dokumentationen.

9. Övervakning efter lansering

Systemets prestanda övervakas kontinuerligt genom ett Grafana-dashboard som ger realtidsinsyn i kritiska prestandamätningar inklusive svarstider, felfrekvens och modellprestanda. Enligt kraven i Artikel 72 (1) EU AI Act implementeras aktiv övervakning av systemets funktion i produktionsmiljö, där automatiska larm via Slack-integrationen säkerställer omedelbar uppmärksamhet vid avvikelser från fördefinierade tröskelvärden. Larmsystemet aktiveras vid betydande försämring av modellprestanda (AUC-drop), latenshöjning (latency spike) eller när felfrekvensen överstiger 1%.

För att uppfylla kraven på systematisk dokumentation enligt Annex IV punkt 9, genereras månadsrapporter till klinikledning som innehåller aggregerad statistik och trendanalys av systemets prestanda över tid. Detta övervakningsmönster möjliggör tidig identifiering av potentiella kvalitetsförsämringar och säkerställer att systemet fortsätter att fungera inom de specificerade prestandaparametrarna under hela sin livscykel i enlighet med förordningens krav på kontinuerlig övervakning efter lansering.

9.3 Insamling av användarfeedback

Systemet implementerar ett flernivåsystem för insamling av användarfeedback i enlighet med kraven i Artikel 72 och Annex IV punkt 9. En inbyggd feedbackknapp är integrerad i användargränssnittet, vilket möjliggör för läkare att omedelbart klassificera AI-systemets rekommendationer som hjälpsamma, irrelevanta eller felaktiga. Denna realtidsfeedback samlas in automatiskt och lagras som del av den kontinuerliga prestandaövervakningen.

Utöver den direkta feedbackfunktionen genomförs kvartalsvis strukturerade enkätundersökningar till alla aktiva användare för att fånga mer detaljerade insikter om systemets prestanda och användbarhet. En dedikerad supportkanal för klinisk feedback har etablerats genom både e-post och Microsoft Teams, vilket säkerställer att användare har tillgång till flera kommunikationsvägar för att rapportera problem, föreslå förbättringar eller eskalera kritiska observationer. Detta flerkanalssystem garanterar omfattande datainsamling för den kontinuerliga övervakningen som krävs enligt Artikel 72.2.

9. Övervakning efter lansering

Incidenthantering och eskalering

Leverantören har etablerat en strukturerad incidenthanteringsplan med tre prioritetsnivåer för att säkerställa adekvat respons vid systemfel eller avvikelser, i enlighet med kraven i Artikel 72. För P1-incidenter, som innebär kritiska systemfel, aktiveras omedelbar avstängning av systemet med eskalering inom en timme. P2-incidenter, som karakteriseras av degraderad systemprestanda, hanteras med eskalering inom fyra timmar, medan P3-incidenter avseende mindre avvikelser behandlas under nästa arbetsdag.

Vid P1-incidenter, som klassificeras som allvarliga händelser enligt Artikel 72.1, genomförs obligatorisk rapportering till Inspektionen för vård och omsorg (IVO) samt andra relevanta tillsynsmyndigheter inom 72 timmar. För att säkerställa kontinuerlig förbättring och regelefterlevnad enligt Annex IV punkt 9, genomförs systematiska post-mortem-analyser efter samtliga P1- och P2-incidenter för att identifiera grundorsaker och implementera förebyggande åtgärder i den löpande övervakningen efter lansering.

9. Övervakning efter lansering

Uppdateringsfrekvens och ändringshantering

Systemet genomgår planerad omträning var sjätte månad med senaste tillgängliga data för att säkerställa fortsatt prestanda och relevans enligt kraven i Artikel 72. All ändringshantering följer strikta rutiner med versionshantering via Git och MLflow, vilket säkerställer fullständig spårbarhet av alla modellversioner enligt Annex IV punkt 9. Före varje deployment av ny systemversion genomförs automatiska regressionstester för att verifiera att prestanda bibehålls eller förbättras.

Implementering av nya versioner sker genom kontrollerad canary deployment-process, där den uppdaterade versionen initialt exponeras för 10% av trafiken innan gradvis upptrappning genomförs. Denna metod möjliggör tidig upptäckt av eventuella prestandaförsämringar eller oväntade beteenden i produktionsmiljö, vilket stödjer kraven på kontinuerlig övervakning och riskminimering enligt Artikel 72.2.

9. Övervakning efter lansering

Automatisk loggning

Systemet implementerar omfattande automatisk loggning i enlighet med kraven i Artikel 12 EU AI Act. Alla API-anrop dokumenteras systematiskt med fullständig spårbarhet av input-features, modellens output, associerade konfidensnivåer och svarstider. Detta säkerställer transparens och möjliggör detaljerad analys av systemets prestanda under drift.

Utöver teknisk loggning registreras läkarens kliniska beslut gällande systemets rekommendationer (acceptera/avvisa), vilket är kritiskt för kontinuerlig validering av modellens kliniska användbarhet. Alla systemhändelser och felmeddelanden dokumenteras för att stödja incidenthantering och prestandaövervakning. Loggarna lagras krypterat i en separat databas med en bevarandeperiod på 10 år, vilket överensstämmer med regulatoriska krav för medicinteknisk utrustning och säkerställer långsiktig spårbarhet för regulatoriska granskningar och eventuella incidentutredningar enligt Annex IV punkt 9.