18/11/2020
Share Print

Webinaire - Dispositifs médicaux & Intelligence artificielle

Quelles spécificités pour l'évaluation ?
Calendar Event - Posted on Oct 15 2020
icone hours 11h - 12h

Vous souhaitez connaître les éléments spécifiques de dépôt de dossier d'un dispositif médical faisant appel à l'intelligence artifcielle ? Les informations attendues par la CNEDiDMTS en vue de son évaluation ?

Vous n'avez pas pu assister à notre conférence en ligne, visionnez-là en replay :

Le webinaire HAS "DM & Intelligence artficielle : quelles spécificités pour l'évaluation ?
s'est déoulé le 18 novembre 2020 de 11 h à 12 h 00

avec la participation d'Isabelle Adenot, président de la CNEDiMTS, et l'equipe du service évaluation des dispositifs médicaux.

 

Boite à outils

Les guides sur l'évaluation des dispositifs médicaux
 

Foire aux questions (FAQ)

Grille descriptive dédiée aux solutions ayant une fonctionnalité apprenante

Est-ce que tous les types d'intelligence artificielle (IA) vont être analysés selon la même grille ?

Cette grille est destinée à tous les systèmes dont au moins une fonctionnalité s’appuie sur de l’apprentissage automatique. À l’usage et selon les divers dossiers dans le temps, cette grille pourra être revue en cas de besoin.

 
Si l'apprentissage automatique est supervisé, cette grille doit être aussi remplie ?

Oui, un dispositif médical s’appuyant sur un procédé d’apprentissage automatique supervisé correspond au type de technologie pour laquelle la grille a été conçue.

 
Si on évalue uniquement les données d’entrée et de sortie : quid de l’explicabilité et interprétabilité de l’IA si on n’évalue pas tous les algorithmes ?

La grille descriptive ne vise pas seulement à recueillir des informations sur les données d’entrée et de sortie de la fonctionnalité « intelligente ». L’explicabilité et l’interprétabilité sont également questionnées au travers de cet outil en raison du poids potentiel de cette fonctionnalité par rapport à la contribution plus explicite d’autres informations.

 
Pour un algorithme conçu par apprentissage puis figé avant déploiement du dispositif médical (DM), les performances sont donc validées par des études cliniques pour le marquage CE. La grille est-elle applicable ? Les seules choses importantes ne sont-elles pas les performances cliniques/diagnostiques/thérapeutiques ?

Bien que l’algorithme ait été figé, la CNEDIMTS souhaite disposer des informations de conception et de fonctionnement recensées au travers de la grille. En effet, le comportement de tels systèmes en situation réelle d’utilisation dépendra de la manière dont ils ont été conçus. Parallèlement la CNEDIMTS conduit son évaluation avec les autres volets que vous évoquez.

 
Quels sont les critères d'éligibilité pour avoir l'obligation de répondre à la grille IA dans le dossier de remboursement d'un DM connecté ?

La grille liste les éléments nécessaires à la CNEDiMTS dès lors qu’un DM intègre une fonctionnalité qui s’appuie sur de l’apprentissage automatique. Pour chaque DM concerné, le renseignement de la grille est une aide pour l’entreprise et vise à fluidifier l’instruction de son dossier. Bien entendu, si des items de la grille ne sont pas adaptés à son DM, il lui suffira d’indiquer qu’ils ne sont pas applicables. La grille est conçue ainsi. Il n’y a pas de bonne ou de mauvaise réponse attendue a priori pour chacune des rubriques. Sa finalité est descriptive.

 
Existe-t-il des groupes de travail prévus (ou projet de guide) sur l'explicabilité dans le Deep Learning ?

À ce stade, aucun groupe de travail sur ce sujet n’est prévu au programme de travail de la HAS. Toutefois, la HAS reste attentive aux travaux réalisés dans d’autres domaines d’activité et susceptibles de proposer des solutions au besoin d’explicabilité des utilisateurs de dispositifs médicaux.

 

Autres questions relatives au contenu du dossier à déposer

Parmi les informations fournies dans le dossier technique utilisé pour obtenir le marquage CE, certaines devraient figurer dans la grille descriptive. Est-il possible de mettre à disposition ce dossier technique et d’y faire référence ?

Le dossier de demande d’inscription peut reprendre des éléments transmis à un organisme notifié pour l’obtention du marquage CE. Toutefois, le simple renvoi à un document n‘est pas suffisant. Il vous est demandé d’exploiter si la documentation CE est utile pour argumenter votre dossier de demande d’inscription. 

 
Y a-t-il des approches différentes entre l'approche française et les grilles d'évaluations mises en place par exemple par la FDA ?

Les missions de la CNEDiMTS et de la FDA sont différentes. Les missions de la FDA sur les DM sont donc plutôt à rapprocher de celles du processus de marquage CE.

La finalité des travaux de la CNEDiMTS est le remboursement par l’Assurance maladie. Ses évaluations interviennent donc après l’étape de mise sur le marché, à un niveau différent donc de la finalité des évaluations conduites par la FDA.

Autre question sur le même thème impliquant les mêmes réponses :

Existe-t-il des spécificités similaires pour l'évaluation des DM à base d'IA au niveau de l'autorisation de mise sur le marché/marquage CE ?

 
Le dossier peut-il être déposé en anglais ?

Non, le guide de dépôt précise que le dossier de demande d’inscription sur la liste des produits et prestations remboursables (LPPR) doit être complété en français. Les études cliniques peuvent être en langue anglaise mais le résumé tabulé exigé pour les études soutenant l’argumentaire doit être en français.

 

Périmètre d’évaluation de la CNEDiMTS

Un DM destiné à l’aide au diagnostic peut-il être inscrit sur la LPPR ou peut-il être évalué dans un acte ?

A priori, les DM destinés à l’aide au diagnostic utilisés par les patients dans le cadre d’une auto-surveillance ou dans le cadre d’une télésurveillance médicale peuvent relever du champ de la LPPR.

Les autres DM d’aide au diagnostic relèvent à ce jour d’éventuelles autres modalités de financement ou d’aide au financement via les actes professionnels, les structures, les appels d’offres…

 
Comment un nouvel acte professionnel peut-il être créé ?

Pour le processus d’évaluation des actes professionnels et notamment pour savoir qui peut être à l’initiative de la création d’un nouvel acte, vous retrouverez les informations sur cette page dédiée.

Dans le but de chercher un remboursement par la CNAM, qui s'occupe d'évaluer les DM d’aide au diagnostic intégrant de l’intelligence artificielle qui sont réservés aux professionnels de santé ?
Cette question appelle les mêmes réponses que la question précédente plus générale. Un DM d’aide au diagnostic utilisé par le professionnel de santé ne fait pas à ce jour l’objet d’une évaluation spécifique par la HAS (hors champ des mission HAS, excepté certains dossiers de forfait innovation).

 
Comment considérez-vous les DM connectés "achetés" par des professionnels de santé mais utilisés par des patients, notamment pour du monitoring à distance ? Hors périmètre à date ?

Si l’industriel le souhaite, il peut déposer un dossier à la CNEDIMTS, du moment que cela correspond aux missions d’évaluation de cette commission qui sont définies par le code de la sécurité sociale. L’initiative relève de l’industriel, pas de la commission (remboursement dans le cadre LPPR). En cas de doute, il conviendrait de vérifier ce point dans le cadre d’un rendez-vous pré-dépôt HAS ou auprès des services concernés du ministère.

 
Pour un dispositif basé sur de l'IA ayant à la fois une plateforme dédiée aux professionnels de santé, et une autre plateforme dédiée aux patients, est ce que ce dispositif pourrait faire l'objet d'une demande à la HAS ?

On peut imaginer en effet que la partie d’une technologie de ce type, si elle relève du champ du DM, pourrait être éligible à la LPPR, pour ce qui concerne la partie « dédiée » au patient, c’est-à-dire utilisée par le patient ou portée par lui. Le seul fait qu’une plateforme soit utilisée par un patient ne suffit pas toutefois à ce qu’elle relève de la réglementation relative aux dispositifs médicaux. Mais dès lors qu’il s’agit d’un dispositif médical utilisé par un patient, alors il est possible qu’il entre dans le périmètre d’évaluation de la CNEDiMTS. En cas de doute, il conviendrait de vérifier ce point dans le cadre d’un rendez-vous pré-dépôt ou auprès des services concernés du ministère.

 
Existe-t-il déjà des prises en charge des objets connectés ?

Certains objets connectés sont des dispositifs médicaux et peuvent à ce titre être remboursés. Certains le sont déjà. La demande d’éligibilité au remboursement est à l’initiative de l’industriel.

 
Est-ce que les montres connectées "grand public" dont les capteurs de suivi ont été validés par des autorités sanitaires (FDA, EMA) pourraient un jour accéder au remboursement en France ?

Si un tel objet a une finalité médicale, alors celui-ci est un dispositif médical. Il appartient dès lors au fabricant de demander, s’il le souhaite, sa prise en charge. Cette démarche est à son initiative.

 
Une solution d'IA non intégrée dans un DM peut-elle être évaluée par la CNEDiMTS ?

Il nous est difficile de répondre à cette question qui nécessite probablement des éléments de contexte pour en comprendre bien le périmètre. Toutefois, un logiciel ou une application non intégrée dans un support « en dur » qui serait utilisée par le patient dans le cadre de soins à domicile relève tout à fait du champ d’évaluation de la CNEDiMTS. Certains logiciels/applications ont d’ailleurs déjà été évalués.

 
Est-ce que la HAS intervient dans le processus d'évaluation des DM sur mesure (sur mesure réalisée grâce à l'IA) ?

Les DM sur mesure, dès lors qu’ils entrent dans le périmètre de la LPPR peuvent être évalués par la CNEDiMTS en vue d’une inscription sur cette liste. À la date de ce webinaire, la CNEDiMTS n’a, sauf erreur, pas évalué de DM dont le processus de fabrication repose sur de l’IA. Toutefois, pour un tel DM, on peut imaginer que la commission s’attachera à évaluer le résultat final pour le patient.

 
Disposez-vous d'un macro-planning pour les DM qui ne sont PAS à usage individuel ? Est-ce également sur la feuille de route de la HAS ou d'un autre organisme ?

Non, pas à ce stade. Dans tous les cas, ces DM ont un marquage CE. Mais à ce stade, il n’y a pas d’évaluation HAS, cette dernière n’ayant aucune mission en la matière. La HAS a lancé en avril dernier un projet de classification fonctionnelle des solutions numériques. Ce projet de classification est en cours de finalisation d’ici la fin de l’année et pourrait contribuer à ce que des acteurs s’emparent de cette grille et la croisent de façon matricielle avec d’autres éléments (techniques, d’évaluation etc…).

Autre question sur le même thème impliquant les mêmes réponses :

  • est-il prévu une évolution de la certification HAS pour les LAP, pour l'arrivée de l'intelligence artificielle dans l'aide à la prescription ?
  • quid de la certification de l'IA ? 
 

Processus d’évaluation

L'évaluation de la HAS est-elle un passage obligé pour l'industriel ou optionnel pour compléter un dossier ?

L’initiative de demande de remboursement appartient à l’industriel. Ensuite la démarche répond à un processus réglementé. Pour en savoir plus, consultez le guide parcours du dispositif médical.

 
Est-ce que la partie "IA" pure est évaluée ? Sur quelles bases ?

L’instruction du dossier repose sur les éléments transmis par l’industriel. Aucun test n’est réalisé par la HAS. Pour l’analyse du volet IA, nous utilisons les éléments définis dans la grille descriptive intégrée dans le guide de dépôt à disposition des industriels, pour les fonctionnalités reposant sur de l’apprentissage automatique. L’analyse des informations renseignées peut nécessiter le recours à un expert spécialiste de la technologie. Par ailleurs, si les informations fournies dans le dossier déposé nécessitent clarification ou doivent être complétées, la HAS contactera le demandeur afin qu’il complète son dossier.

 
Qui sont les experts mandatés par la commission ? Sont-ils accessibles en amont du dépôt de la demande d’inscription sur la LPPR ?

Pour chaque dossier soumis, lorsque le recours à une expertise externe est nécessaire, nous mobilisons des experts au regard du profil d’expertise recherché. Ils sont soumis à la confidentialité des informations reçues dans le cadre de leur expertise. Les liens des professionnels avec lesquels la HAS collabore font l’objet d’une analyse avant qu’ils soient sollicités pour une expertise. De fait, s’ils ont collaboré avec une entreprise commercialisant un DM, ils ne pourront pas être mandatés pour analyser ce dossier, ni celui d’un concurrent.   

 
Comment se fait l'évaluation des actes associés aux DMC ?

Si pour une demande d’inscription sur la liste des produits et prestations remboursables (LPPR) d’un DM à usage individuel utilisé par un professionnel de santé, vous constatez qu’il n’existe pas d’acte professionnel permettant la prise en charge du soin/diagnostic/geste par le professionnel concerné, il vous sera demandé de fournir les informations détaillées au chapitre 4 du guide pour le dépôt de dossier.

Sur la base de ces éléments, la HAS réalisera une évaluation conjointe du DM (avis rendu par la CNEDIMTS) et de son acte associé. En pratique, la commission évaluera simultanément le DM et l’acte en question. En suivant, le Collège de la HAS rendra un avis qui sera rendu sur la base de l’évaluation conduite par la CNEDIMTS.

Si le DM n’est pas éligible à une inscription sur la LPPR, le processus est celui d’évaluation des actes.

 
Combien de temps faut-il compter entre l'évaluation par la CNEDIMTS jusqu'à la parution au journal officiel ?

Le délai réglementaire entre le dépôt de dossier et la publication de l’arrêté d’inscription est de 180 jours. Ce délai global inclut le temps d’instruction du dossier par la CNEDiMTS. La CNEDiMTS rend public son tableau de bord afin de donner une information transparente sur ses délais. Il est actualisé trimestriellement. Par ailleurs, il faut garder à l’esprit qu’à l’issue de l’évaluation par la CNEDiMTS, l’avis est transmis au CEPS qui conduit la négociation tarifaire avant décision par les Ministres.

 
Comment la matériovigilance est-elle prise en compte dans le processus d’évaluation de la CNEDIMTS ?

Les éléments issus de la matériovigilance sont attendus dans le dossier (cf partie 6.4 du guide de dépôt).

 
Réévaluez-vous l'amélioration du service attendu (ASA) dans le temps de manière rétrospective ?

Non, nous ne faisons pas d’évaluation rétrospective des ASA octroyées. La CNEDiMTS rend un avis à un instant T et réévalue l’ASR à l’occasion du dossier de demande de renouvellement s’il y a lieu. En revanche, à tout moment, l’industriel peut déposer un nouveau dossier, soit parce qu’il souhaite proposer une nouvelle version de son DM, soit parce qu’il dispose de nouvelles données qui permettent d’envisager de nouvelles indications par exemple ou une meilleure valorisation en termes d’ASA

 
Envisagez-vous de travailler avec les acteurs internationaux pour l’évaluation ?

La HAS travaille déjà avec d’autres agences dans le cadre de travaux européens du réseau EUnetHTA, notamment.

 
Quel accès pour le forfait innovation ?

Le forfait innovation correspond à une prise en charge précoce et dérogatoire ayant pour objectif de financer en partie une étude permettant de collecter pour un DM ou un acte innovant le recueil des données manquantes qui permettront une prise en charge de droit commun. Ce mode de financement est dédié aux technologie innovantes. Les critères d’éligibilité étant préalablement définis réglementairement. Toutes les informations sur les conditions d’éligibilité sont décrites dans le guide pour le dépôt d’un dossier forfait innovation.

 

Critères d’évaluation & données cliniques attendues

Peut-on avoir un service attendu (SA) "suffisant" et une amélioration du service attendu (ASA) "IV ou V" ?

Bien sûr. Lorsque la CNEDiMTS émet un avis suffisant, elle grade ensuite l’amélioration du service attendu (ASA) sur les 5 niveaux possibles, entre I (ASA majeure) et V (absence d’ASA).

 
Existe-il des exemples de DM avec IA évalués favorablement par la HAS et ayant montré un impact positif dans l’organisation des soins ou dans le suivi des patients ?

À ce jour, les DM embarquant de l’intelligence artificielle qui ont été évalués sont en nombre très limité. Sur les quelques exemples que nous avons, soit c’est un impact clinique qui était recherché et a été valorisé en termes d’ASA, mais nous avons également l’exemple d’une technologie pour laquelle c’est plutôt l’impact organisationnel qui est recherché et qui a fait l’objet d’un avis d’éligibilité au forfait innovation.

 
Est-ce que les données de vie réelle sont acceptées ? vs Essais cliniques contrôlés randomisés. Études en vie réelle que pour évaluation post-inscription ? Quid de l’évaluation primo inscription ?

Les données de vie réelles sont très importantes en effet. Les données issues d’études cliniques sur des patients très sélectionnés et les données en conditions réelles d’utilisation sur des patients de la « vraie vie » apportent des informations complémentaires. L’idéal serait d’avoir des données comparatives issues d’un essai clinique dans des conditions standardisées permettant de minimiser les biais pour évaluer au mieux l’effet propre du traitement et des données confirmatoires en vie réelle qui vont permettre de mieux déterminer quel est le niveau réel de bénéfices et des risques atteignables en pratique clinique. Ce n’est évidemment pas faisable systématiquement. Le plan de développement clinique doit donc être adapté au contexte de l’évaluation, à la faisabilité de telle ou telle étude etc. Dans tous les cas (étude expérimentale ou étude conduite sur des données de vie réelle), la qualité de l’étude conduite est essentielle.

Autre question sur le même thème impliquant les mêmes réponses :

Concernant la pertinence des données cliniques, quelle est la position de la CNEDiMTS concernant l'utilisation de données en vie réelle versus des données provenant d'essais cliniques randomisés ?

 
Est-ce que des données rétrospectives suffisent ou est-il indispensable d'avoir des données prospectives ?

La collecte des données dans une étude rétrospective est soumise à de nombreux biais. À ce titre ce type d’étude est plutôt considéré comme de bas niveau de preuve. Toutefois, dans certaines situations une collecte de données rétrospectives de données peut être la seule approche possible. Si tel est le cas, vous pourrez apporter dans votre dossier la justification de cette approche au regard de l’impossibilité ou de l’inadéquation d’autres types d’études.

 
Les données d'une étude rétrospective peuvent-elles être considérées comme de « haut niveau de preuves » ?

Les études rétrospectives sont généralement considérées comme apportant le plus faible niveau de preuve. Toutefois, si la collecte des données est prospective (registre, constitution automatique d’une base de données…) et que l’étude apporte suffisamment de garantie permettant d’exclure certains biais (de sélection, par exemple), alors les informations issues de ces études seront davantage prises en compte.

 
La CNEDiMTS accepte-t-elle des études cliniques comparatives dont le bras contrôle serait issu d'une extraction des bases de données médico-administratives (PMSI ou SNIIRAM) ?

Ce type de démarche implique une structuration méthodologique car une telle démarche évoque des comparaisons externes.

 
Y a-t-il une différence de notion de standard of care pour les solutions connectées ?

Non, pas vraiment. Les standards de soins sont définis pour chaque technologie évaluée, d’après les pratiques courantes et les recommandations professionnelles lorsqu’elles existent. Pour en savoir plus, les principes d’évaluation rassemblés dans ce guide peuvent vous être utiles.

 

Guides & Accompagnement par la HAS


Où en est le guide sur impact organisationnel ?

Ce guide est en cours de finalisation. Il devrait être rendu public courant décembre.

 
Proposez-vous des rencontres précoces pour les DM connectés ?

Oui, comme pour tout autre DM.

 
Existe-t-il des modalités de soumission spécifique pour une rencontre précoce concernant un DM intégrant de l’IA ?

Les modalités de rencontre précoce sont les mêmes quel que soit le type de DM. Pour plus d’information, consultez notre notice (notez qu’elle sera actualisée rapidement, les demandes se faisant désormais via notre plateforme de dépôt Sésame).

 
Quels sont les délais pour obtenir une rencontre précoce portant sur de tels DM ?

Nous nous efforçons de les organiser dans le mois qui suit votre demande. Bien entendu, le délai peut varier selon vos disponibilités et celles de nos experts.

 
Existe-t-il un guide HAS pour les données en vie réelle ? Si non, est-ce prévu ?

Il va y avoir effectivement une actualisation du guide sur les études post-inscription, commun à l’ensemble des commissions concernées de la HAS. Il traitera des données en vie réelle.

 

Ne relevant pas de la HAS

Concernant les expérimentations télésurveillance ETAPES :

Y a-t-il eu une évaluation intermédiaire du programme ETAPES et est-elle disponible publiquement ?
Les avis de la HAS (avis collège) concernant le programme ETAPES sont disponibles sur le site de la HAS.

Où en est l'évaluation de l'expérimentation ETAPES ? quel sera le rôle de la HAS ?
Pour plus d’informations voir également cette page web

Autre question sur le même thème impliquant les mêmes réponses :

-       Comment va s'effectuer le passage en droit commun des solutions de télésurveillance inscrites dans le programme expérimental ETAPES ? Au cas par cas suivant leur bénéfice clinique / organisationnel ? Y aura-t-il une évaluation ?

Exploitation des avis de la CNEDiMTS par le décideur : L'évaluation d'un DM avec IA par essence innovant, est faite par la HAS dans l'objectif d'un remboursement. Si la HAS ne donne pas une ASA I II ou III et qu'il n'y a pas de comparateur remboursé dans la LLPR la DGOS refusera l'inscription. Comment faire ?
Le code de la SS prévoit que des comparateurs puissent ne pas être remboursés. Ceci étant, comme vous le savez, les avis de la commission sont consultatifs.

 
Comment et qui s’assure de la sécurité et de l’utilisation des "données de santé" des objets connectés ?

Ces questions ne font pas partie du périmètre d’évaluation de la commission. Comme le prévoient les textes, les avis de la CNEDiMTS transcrivent factuellement les informations fournies par l’industriels relatives au RGPD et à l’hébergement des données de santé, sans les interpréter.

 
Un mot sur la loi de bioéthique sur la garantie humaine de l’IA ?

En attente des textes en cours. La grille définie permettra de la prendre en compte. Des items existants sont adaptés.

Des applications téléchargeables sur un ordinateur pour suivre l'évolution de sa pathologie (exemple diabète) par un patient (ou sur un téléphone) peuvent-elles être considérées comme un DM ?
Nous ne sommes pas en charge des questions de qualification DM ou pas. Mais la définition de ce qu’est un dispositif médical vous aidera à savoir si telle ou telle technologie relève du statut de DM ou non. Le règlement européen est très précis sur ce point. Nous ne pouvons que vous renvoyer vers sa définition ou contacter nos collègues de l’ANSM en cas de question lorsque que le statut règlementaire n’est pas évident.

 
Pourriez-vous préciser les articulations / liens existants (ou à créer/renforcer) avec les centres réalisant les investigations cliniques ?

Quasiment aucune articulation en fait. Lorsqu’un industriel, dépose son dossier, les études cliniques sont a priori déjà conduites. Nous pouvons toutefois échanger avec les porteurs de projet en vue de la mise en place d’une étude clinique dans le cadre de rencontres précoces. En complément, la HAS est souvent conviée à s’exprimer lors de congrès relatifs aux sujets que vous évoquez.

 
Quelle est votre vision sur le financement forfaitaire ou au parcours, par rapport au financement d'outils connectés individuels pour un même type de patient ?

Le processus d’évaluation scientifique est bien distinct dans la réglementation des décisions de financement. Les critères d’évaluation de la CNEDiMTS sont réglementaires. Elle ne se prononce pas sur les modalités de financement.

Autres questions sur le même thème impliquant les mêmes réponses :

  • Comment sont ré-évalués les prix des actes ?
  • Quel est le budget annuel des DM par l'Assurance Maladie ?
 

 


Contact Us

Contact évaluation des dispositifs