Crowd-sourced assessment ?

Crowd-sourced assessment of surgical skills in cricothyrotomy procedure.

Aghdasi Net Al. J Surg Res. 2015 Jun 15;196(2):302-6.

-------------------------------------

Evaluer la maîtrise de pratiques gestuelles est un véritable enjeu. Le recours à un avis d'expert est la méthode classiquement utilisée avec tous les enjeux d'identification, de disponibilité et de réduction de la dispersion des avis d'expert. Une autre approche fait jour, le recours à une communauté de professionnels pas forcément experts auxquels sont soumis un enregistrement vidéo du geste à évaluer. C'est le Crowd-sourced assessment, démarche initiée par l'université de Washington et qui semble promue par certaines équipes de chirurgie urologique robotisée. (2). Le travail proposé à la lecture porte sur la cricothyrotomie, geste de réalisation peu fréquente pour générer de véritables experts cliniques. Recourir à une démarche OSATS (1) et à un panel de visionneurs de gestes semble être aussi performant et surtout plus rapide que de recourir à quelques experts. le C(STAS, Une approche très différente de ce que nous faisons actuellement mais qui semble avoir dès à présent une application dans la vraie vie (3)

-------------------------------------

BACKGROUND:

Objective assessment of surgical skills is resource intensive and requires valuable time of expert surgeons. The goal of this study was to assess the ability of a large group of laypersons using a crowd-sourcing tool to grade a surgical procedure (cricothyrotomy) performed on a simulator. The grading included an assessment of the entire procedure by completing an objective assessment of technical skills survey.

MATERIALS AND METHODS:

Two groups of graders were recruited as follows: (1) Amazon Mechanical Turk users and (2) three expert surgeons from University of Washington Department of Otolaryngology. Graders were presented with a video of participants performing the procedure on the simulator and were asked to grade the video using the objective assessment of technical skills questions. Mechanical Turk users were paid $0.50 for each completed survey. It took 10 h to obtain all responses from 30 Mechanical Turk users for 26 training participants (26 videos/tasks), whereas it took 60 d for three expert surgeons to complete the same 26 tasks.

RESULTS:

The assessment of surgical performance by a group (n = 30) of laypersons matched the assessment by a group (n = 3) of expert surgeons with a good level of agreement determined by Cronbach alpha coefficient = 0.83.

CONCLUSIONS:

We found crowd sourcing was an efficient, accurate, and inexpensive method for skills assessment with a good level of agreement to experts' grading.