Primary Research Study Methodology II

Transcription

1 Primary Research Study Methodology II Patompong Ungprasert, MD, MS Clinical Epidemiology Unit, Department of Research and Development Faculty of Medicine Siriraj Hospital, Mahidol University

2 โจทย ข อท 2 เด กอาย 10 ป มาตรวจร กษาท โอพ ด ของโรงพยาบาลท วไปด วยอาการของโรคหว ด ท านว น จฉ ยว าเป น common cold และส งยาลดไข และยาลดน าม ก มารดา เด กขอให ท านส งว ตาม นซ สาหร บผ ป วยร วมด วยเพราะเช อว าว ตาม นซ จะทาให โรค หว ดหายได เร วข น รวมท งขอให ส งว ตาม นซ สาหร บน องของผ ป วยอาย 8 ป ท ย งไม เป นหว ดเพราะเช อว าว ตาม นซ จะป องก นโรคหว ดได ท านไม ม นใจว าว ตาม นซ จะร กษาโรคหว ดและป องก นโรคหว ดได จ งสนใจจะว จ ย เร องน ท านจะวางแผนการว จ ยอย างไร

3 How to pose research question

4 How to pose research question? PICO format P: Patients or population of interest I: Interventions (or exposures) C: Controls O: Outcomes

5 How to pose research question? PICO format P: ผ ป วยเด กท เป นหว ด I: การร บประทานว ตาม นซ C: ไม ร บประทานว ตาม นซ O: การหายจากโรคจากโรคหว ด ในเด กท เป นหว ดการร บประทานว ตาม นซ จะทาให เด กหายจากโรคหว ดเร วกว าการไม ทาน ว ตาม นซ หร อไม

6 How to pose research question? PICO format P: เด กท ไม เป นหว ด I: การร บประทานว ตาม นซ C: ไม ร บประทานว ตาม นซ O: อ ตราการเก ดโรคหว ด เด กท ย งไม เป นหว ดและร บประทานว ตาม นซ เป นประจาจะม โอกาสเก ดโรคหว ดมากกว าเด กท ไม ได ร บประทานว ตาม นซ เป นประจาหร อไม

7 What study design would we choose? Randomized controlled trial is the only design that can be used to establish efficacy of the treatment of interest

8 Treatment Study

9 How to select study population

10 Selection of study population Population of interest? Inclusion and exclusion criteria Where to recruit: hospital vs community?

11 Population of interest Inclusion and exclusion criteria need to be established in advance Criteria needs to be objective that can be used without ambiguity by any investigators

12 Inclusion criteria Children age 4-15 year Diagnosed with common cold based on the presence of typical signs and symptoms (rhinorrhea, nasal congestion, low-grade fever, malaise, sore throat and cough) and exclusion of other diagnoses such as streptococcal pharyngitis, influenza and pneumonia.

13 Exclusion criteria Have chronic disease (such as congenital heart disease, chronic immunodeficiency, CP etc.) Unable to swallow pills

14 Where to recruit? Multiple hospitals/clinics across the country (different levels of hospitals)

15 Concealment Recruiters do not know in advance whether the patient will be in intervention or control group Reduce the chance of biased recruitment Can be done using sealed, opaque envelop OR using central randomization

16 How to describe intervention

17 Recruitment of participants Randomization Receive treatment Do not receive treatment Measurement of outcome Measurement of outcome

18 Randomization A process by which each participants has the same chance to be assigned to intervention or control group The vital process that allows even distribution of known and unknown confounders to produce to groups of participants with comparable baseline characteristics

19 Randomization Simple randomization Block randomization To ensure that the size of the two arms are similar all the time Stratified randomization To ensure that the extremely important factor(s) is equally distributed in both arms

20 Intervention Specific protocol needs to be established in advance Dose, frequency, duration Placebo pill: should be identical to active drug Blinding: knowing treatment or control status can consciously or unconsciously influence the behavior of both participants and investigators

21 Intervention Specific protocol needs to be established in advance Treatment group: vitamin C 100 mg oral daily # 7 days Placebo group: placebo pills looks identical to vitamin C 100 mg oral daily # 7 days Co-treatment per treating physicians Double-blinded

22 How to measure relevant outcomes

23 Outcome measurement Primary outcome Efficacy Use to calculate sample size Secondary outcome Safety / AEs Additional efficacy such QoL

24 Outcome measurement Protocol on timing of data collection Measures to maximize follow-up and compliance Case record form Standard case record form Web-based case record form

25 Outcome measurement Primary outcome: time to resolution of all symptoms Diary of symptoms filled by patients/guardians Data in diary transferred to our case record form by investigators Patients will be seen at day 3 and day 7 Return of diary Direct interview if diary is incomplete Pills count to ensure compliance Phone call / home visit if lost f/u

26 Patients seen at study hospitals Included patients Concealment Screen for eligibility using inclusion and exclusion criteria Block randomization Receive vitamin C 100 mg od # 7 d Diary Receive placebo pill od # 7 d Diary Double-blinded Review of diary and pill count at day 3 and 7 Review of diary and pill count at day 3 and 7

27 How to do data analysis (RCT, Continuous outcome)

28 n Days to clear symptoms Mean SD Diff. (95% CI) p-value Vitamin C Yes No (0.7, 3.3) Statistical analysis: If Y Normal 2-sample (unpaired) t-test Non-normal Mann-Whitney U (Wilcoxon s rank sum) test

29 How to calculate sample size

30

31 Prevention Study

32 How to select study population

33 Inclusion criteria Children age 4-15 year who do not have common cold at enrollment

34 Exclusion criteria Have chronic disease (such as congenital heart disease, chronic immunodeficiency, CP etc.) Unable to swallow pills

35 Where to recruit? Community-based Schools

36 Concealment Recruiters do not know in advance whether the patient will be in intervention or control group Reduce the chance of biased recruitment Can be done using sealed, opaque envelop OR using central randomization

37 How to describe intervention

38 Recruitment of participants Randomization Receive treatment Do not receive treatment Measurement of outcome Measurement of outcome

39 Intervention Specific protocol needs to be established in advance Treatment group: vitamin C 100 mg oral daily # 1 year Placebo group: placebo pills looks identical to vitamin C 100 mg oral daily # 1 years Double-blinded

40 How to measure relevant outcomes

41 Outcome measurement Primary outcome: percentage of participants with no episode of common cold in 1 year Patients/guardians are instructed to call investigators if symptoms of common cold develop Patients will be seen q 2 months as well Direct interview to double check Pill count to ensure compliance Phone call / home visit if lost f/u

42 Children at schools Included patients Concealment Screen for eligibility using inclusion and exclusion criteria Block randomization Receive vitamin C 100 mg od for 1 yr Receive placebo pill od for 1 yr Double-blinded Instructed to call plus q 2 months face-to-face visit Instructed to call plus q 2 months face-to-face visit

43 How to do data analysis (RCT, Binary outcome)

44 Placebo Vit. C Total D D Total Risk Point estimate [95% Conf. Interval] Risk difference Risk ratio chi2(1) = 9.89 Pr>chi2 =

45 How to calculate sample size

46

47 โจทย ข อท 3 บร ษ ทผล ตภ ณฑ ด านการแพทย แห งหน งพ ฒนาช ดทดสอบชน ดทราบผลอย าง รวดเร วในการว น จฉ ยโรคไข เล อดออก (Acute Hemorrhagic Fever) โดยช ดทดสอบเป นแถบกระดาษท ใช ทดสอบก บ serum เพ อตรวจหา Antigen ต อ Dengue Virus โดยแถบกระดาษจะเปล ยนส จากส ขาวเป นส ฟ าจากการด ด วยตาเปล าหากใน serum ม Antigen ต อ Dengue Virus ในเวลา 5 นาท บร ษ ทน ให ท านประเม นความแม นย าของช ดทดสอบน ในการว น จฉ ยโรคไข เล อดออก ท านจะวางแผนการว จ ยอย างไร

48 How to pose research question

49 How to pose research question? PICO format P: Patients or population of interest I: Interventions (or exposures) C: Controls O: Outcomes

50 How to pose research question? PICO format P:คนไข ท แพทย สงส ยว าอาจเป นโรคไข เล อดออกเดงก I: ช ดทดสอบใหม C: การทดสอบมาตรฐาน O: การเป นหร อไม เป นไข เล อดออก ในคนไข ท แพทย สงส ยว าอาจจะเป นโรคไข เล อดออกเดงก ช ดทดสอบใหม ม ความไวและ ความจาเพาะต อการว น จฉ ยโรคไข เล อดออกมาเพ ยงใด เท ยบก บการทดสอบมาตรฐาน

51 How to choose appropriate study design

52 What study design would we choose? Diagnostic study research is cross-sectional in nature

53

54 How to select study population

55 Selection of study population Population of interest? Where to recruit: hospital vs community?

56 Selection of study population Population of interest Participants of our study should be similar to patients the test intended to be used Cases with very severe disease tend to overestimate sensitivity Perfectly healthy controls tend to over-estimate specificity

57 Selection of study population Who would we recruit? Patients suspected to have DHF Acute fever for 2-5 days No evidence of localized infection or bacteremia No age limitation

58 Selection of study population Where to recruit? We will recruit participants from multiple hospitals across the country (different levels of hospital)

59 How to describe intervention

60 How to describe intervention For this scenario, the intervention is the new test The test has to be done in all participants Test s interpretators have to be blinded from the status of disease vs no disease

61 How to measure relevant outcomes

62 How to measure outcomes Gold standard test: Test used to confirm the presence/ absence of disease that should be done in all participants Ethical issue Sometimes gold standard test do not exist For the current study, we will use (RT-PCR) assay for viral nucleic acid in serum

63 Patients seen at study hospitals Included participants Screen for eligibility Acute fever 2-5 days No evidence of localized infection or bacteremia Not obvious case All participants undergo the new test and RT-PCR (blinding) DATA ANALYSIS

64 How to do data analysis (Diagnostic test)

65 Gold std. (RT-PCR) D+ D- New test D D Total Statistical analysis: Sensitivity = 90 / 100 = 90% (95% CI: 82.4, 95.1) Specificity = 75 / 100 = 75% (95% CI: 65.3, 83.1) Accuracy = 165 / 200 = 82.5% (95% CI: 76.5, 87.5) PPV = 90/115 = 78.3% (95% CI: 71.8, 83.6) NPV = 75/85 = 88.2% (95% CI: 80.5, 93.2)

66 Sensitivity and specificity Sensitivity ความไว เป นค าท บอกว าช ดตรวจน นจะให ผลเป นบวกก % ในคนท เป นโรคจร งๆ Sensitivity ท ส งๆ จะจาเป นมากสาหร บ screening test Specificity ความจาเพาะ เป นค าท บอกว าช ดตรวจน นจะให ผลลบก % ในคนท ไม เป นโรค Specificity ท ส งๆ จะจาเป นมากสาหร บ confirmatory test

67 Positive and negative predictive value Positive predictive value เป นค าท บอกว าในคนท ม ผลการตรวจเป นบวกท งหมดม คนท เป นโรคจร งๆก % Confirmatory test ท ด ควรจะม PPV ส งๆ Negative predictive value เป นค าท บอกว าในคนท ม ผลการตรวจเป นลบท งหมดม คนท ไม เป นโรคจร งๆก % Screening test ท ด ควรจะม NPV ส งๆ

68 Sensitivity, Specificity and PVs Sensitivity and specificity are intrinsic to the test and are not dependent of prevalence (pre-test probability) However, PPV and NPV are more clinically useful Dependent of prevalence (pre-test probability)

69 How to calculate sample size

70

71 Q&A