Primary Research Study Methodology II Patompong Ungprasert, MD, MS Clinical Epidemiology Unit, Department of Research and Development Faculty of Medicine Siriraj Hospital, Mahidol University Patompong.Unp@Mahidol.ac.th
โจทย ข อท 2 เด กอาย 10 ป มาตรวจร กษาท โอพ ด ของโรงพยาบาลท วไปด วยอาการของโรคหว ด ท านว น จฉ ยว าเป น common cold และส งยาลดไข และยาลดน าม ก มารดา เด กขอให ท านส งว ตาม นซ สาหร บผ ป วยร วมด วยเพราะเช อว าว ตาม นซ จะทาให โรค หว ดหายได เร วข น รวมท งขอให ส งว ตาม นซ สาหร บน องของผ ป วยอาย 8 ป ท ย งไม เป นหว ดเพราะเช อว าว ตาม นซ จะป องก นโรคหว ดได ท านไม ม นใจว าว ตาม นซ จะร กษาโรคหว ดและป องก นโรคหว ดได จ งสนใจจะว จ ย เร องน ท านจะวางแผนการว จ ยอย างไร
How to pose research question
How to pose research question? PICO format P: Patients or population of interest I: Interventions (or exposures) C: Controls O: Outcomes
How to pose research question? PICO format P: ผ ป วยเด กท เป นหว ด I: การร บประทานว ตาม นซ C: ไม ร บประทานว ตาม นซ O: การหายจากโรคจากโรคหว ด ในเด กท เป นหว ดการร บประทานว ตาม นซ จะทาให เด กหายจากโรคหว ดเร วกว าการไม ทาน ว ตาม นซ หร อไม
How to pose research question? PICO format P: เด กท ไม เป นหว ด I: การร บประทานว ตาม นซ C: ไม ร บประทานว ตาม นซ O: อ ตราการเก ดโรคหว ด เด กท ย งไม เป นหว ดและร บประทานว ตาม นซ เป นประจาจะม โอกาสเก ดโรคหว ดมากกว าเด กท ไม ได ร บประทานว ตาม นซ เป นประจาหร อไม
What study design would we choose? Randomized controlled trial is the only design that can be used to establish efficacy of the treatment of interest
Treatment Study
How to select study population
Selection of study population Population of interest? Inclusion and exclusion criteria Where to recruit: hospital vs community?
Population of interest Inclusion and exclusion criteria need to be established in advance Criteria needs to be objective that can be used without ambiguity by any investigators
Inclusion criteria Children age 4-15 year Diagnosed with common cold based on the presence of typical signs and symptoms (rhinorrhea, nasal congestion, low-grade fever, malaise, sore throat and cough) and exclusion of other diagnoses such as streptococcal pharyngitis, influenza and pneumonia.
Exclusion criteria Have chronic disease (such as congenital heart disease, chronic immunodeficiency, CP etc.) Unable to swallow pills
Where to recruit? Multiple hospitals/clinics across the country (different levels of hospitals)
Concealment Recruiters do not know in advance whether the patient will be in intervention or control group Reduce the chance of biased recruitment Can be done using sealed, opaque envelop OR using central randomization
How to describe intervention
Recruitment of participants Randomization Receive treatment Do not receive treatment Measurement of outcome Measurement of outcome
Randomization A process by which each participants has the same chance to be assigned to intervention or control group The vital process that allows even distribution of known and unknown confounders to produce to groups of participants with comparable baseline characteristics
Randomization Simple randomization Block randomization To ensure that the size of the two arms are similar all the time Stratified randomization To ensure that the extremely important factor(s) is equally distributed in both arms
Intervention Specific protocol needs to be established in advance Dose, frequency, duration Placebo pill: should be identical to active drug Blinding: knowing treatment or control status can consciously or unconsciously influence the behavior of both participants and investigators
Intervention Specific protocol needs to be established in advance Treatment group: vitamin C 100 mg oral daily # 7 days Placebo group: placebo pills looks identical to vitamin C 100 mg oral daily # 7 days Co-treatment per treating physicians Double-blinded
How to measure relevant outcomes
Outcome measurement Primary outcome Efficacy Use to calculate sample size Secondary outcome Safety / AEs Additional efficacy such QoL
Outcome measurement Protocol on timing of data collection Measures to maximize follow-up and compliance Case record form Standard case record form Web-based case record form
Outcome measurement Primary outcome: time to resolution of all symptoms Diary of symptoms filled by patients/guardians Data in diary transferred to our case record form by investigators Patients will be seen at day 3 and day 7 Return of diary Direct interview if diary is incomplete Pills count to ensure compliance Phone call / home visit if lost f/u
Patients seen at study hospitals Included patients Concealment Screen for eligibility using inclusion and exclusion criteria Block randomization Receive vitamin C 100 mg od # 7 d Diary Receive placebo pill od # 7 d Diary Double-blinded Review of diary and pill count at day 3 and 7 Review of diary and pill count at day 3 and 7
How to do data analysis (RCT, Continuous outcome)
n Days to clear symptoms Mean SD Diff. (95% CI) p-value Vitamin C Yes 20 2 2 - No 20 4 2 2 (0.7, 3.3) 0.003 Statistical analysis: If Y Normal 2-sample (unpaired) t-test Non-normal Mann-Whitney U (Wilcoxon s rank sum) test
How to calculate sample size
Prevention Study
How to select study population
Inclusion criteria Children age 4-15 year who do not have common cold at enrollment
Exclusion criteria Have chronic disease (such as congenital heart disease, chronic immunodeficiency, CP etc.) Unable to swallow pills
Where to recruit? Community-based Schools
Concealment Recruiters do not know in advance whether the patient will be in intervention or control group Reduce the chance of biased recruitment Can be done using sealed, opaque envelop OR using central randomization
How to describe intervention
Recruitment of participants Randomization Receive treatment Do not receive treatment Measurement of outcome Measurement of outcome
Intervention Specific protocol needs to be established in advance Treatment group: vitamin C 100 mg oral daily # 1 year Placebo group: placebo pills looks identical to vitamin C 100 mg oral daily # 1 years Double-blinded
How to measure relevant outcomes
Outcome measurement Primary outcome: percentage of participants with no episode of common cold in 1 year Patients/guardians are instructed to call investigators if symptoms of common cold develop Patients will be seen q 2 months as well Direct interview to double check Pill count to ensure compliance Phone call / home visit if lost f/u
Children at schools Included patients Concealment Screen for eligibility using inclusion and exclusion criteria Block randomization Receive vitamin C 100 mg od for 1 yr Receive placebo pill od for 1 yr Double-blinded Instructed to call plus q 2 months face-to-face visit Instructed to call plus q 2 months face-to-face visit
How to do data analysis (RCT, Binary outcome)
Placebo Vit. C Total -----------------+---------------------+---------------- D+ 25 10 35 D- 25 40 65 -----------------+---------------------+---------------- Total 50 50 100 Risk.5.2.35 Point estimate [95% Conf. Interval] -----------------------------+------------------------------------ Risk difference.3.1225177.4774823 Risk ratio 2.5 1.345137 4.646368 +------------------------------------------------------------------- chi2(1) = 9.89 Pr>chi2 = 0.0017
How to calculate sample size
โจทย ข อท 3 บร ษ ทผล ตภ ณฑ ด านการแพทย แห งหน งพ ฒนาช ดทดสอบชน ดทราบผลอย าง รวดเร วในการว น จฉ ยโรคไข เล อดออก (Acute Hemorrhagic Fever) โดยช ดทดสอบเป นแถบกระดาษท ใช ทดสอบก บ serum เพ อตรวจหา Antigen ต อ Dengue Virus โดยแถบกระดาษจะเปล ยนส จากส ขาวเป นส ฟ าจากการด ด วยตาเปล าหากใน serum ม Antigen ต อ Dengue Virus ในเวลา 5 นาท บร ษ ทน ให ท านประเม นความแม นย าของช ดทดสอบน ในการว น จฉ ยโรคไข เล อดออก ท านจะวางแผนการว จ ยอย างไร
How to pose research question
How to pose research question? PICO format P: Patients or population of interest I: Interventions (or exposures) C: Controls O: Outcomes
How to pose research question? PICO format P:คนไข ท แพทย สงส ยว าอาจเป นโรคไข เล อดออกเดงก I: ช ดทดสอบใหม C: การทดสอบมาตรฐาน O: การเป นหร อไม เป นไข เล อดออก ในคนไข ท แพทย สงส ยว าอาจจะเป นโรคไข เล อดออกเดงก ช ดทดสอบใหม ม ความไวและ ความจาเพาะต อการว น จฉ ยโรคไข เล อดออกมาเพ ยงใด เท ยบก บการทดสอบมาตรฐาน
How to choose appropriate study design
What study design would we choose? Diagnostic study research is cross-sectional in nature
How to select study population
Selection of study population Population of interest? Where to recruit: hospital vs community?
Selection of study population Population of interest Participants of our study should be similar to patients the test intended to be used Cases with very severe disease tend to overestimate sensitivity Perfectly healthy controls tend to over-estimate specificity
Selection of study population Who would we recruit? Patients suspected to have DHF Acute fever for 2-5 days No evidence of localized infection or bacteremia No age limitation
Selection of study population Where to recruit? We will recruit participants from multiple hospitals across the country (different levels of hospital)
How to describe intervention
How to describe intervention For this scenario, the intervention is the new test The test has to be done in all participants Test s interpretators have to be blinded from the status of disease vs no disease
How to measure relevant outcomes
How to measure outcomes Gold standard test: Test used to confirm the presence/ absence of disease that should be done in all participants Ethical issue Sometimes gold standard test do not exist For the current study, we will use (RT-PCR) assay for viral nucleic acid in serum
Patients seen at study hospitals Included participants Screen for eligibility Acute fever 2-5 days No evidence of localized infection or bacteremia Not obvious case All participants undergo the new test and RT-PCR (blinding) DATA ANALYSIS
How to do data analysis (Diagnostic test)
Gold std. (RT-PCR) D+ D- New test D+ 90 25 115 D- 10 75 85 Total 100 100 200 Statistical analysis: Sensitivity = 90 / 100 = 90% (95% CI: 82.4, 95.1) Specificity = 75 / 100 = 75% (95% CI: 65.3, 83.1) Accuracy = 165 / 200 = 82.5% (95% CI: 76.5, 87.5) PPV = 90/115 = 78.3% (95% CI: 71.8, 83.6) NPV = 75/85 = 88.2% (95% CI: 80.5, 93.2)
Sensitivity and specificity Sensitivity ความไว เป นค าท บอกว าช ดตรวจน นจะให ผลเป นบวกก % ในคนท เป นโรคจร งๆ Sensitivity ท ส งๆ จะจาเป นมากสาหร บ screening test Specificity ความจาเพาะ เป นค าท บอกว าช ดตรวจน นจะให ผลลบก % ในคนท ไม เป นโรค Specificity ท ส งๆ จะจาเป นมากสาหร บ confirmatory test
Positive and negative predictive value Positive predictive value เป นค าท บอกว าในคนท ม ผลการตรวจเป นบวกท งหมดม คนท เป นโรคจร งๆก % Confirmatory test ท ด ควรจะม PPV ส งๆ Negative predictive value เป นค าท บอกว าในคนท ม ผลการตรวจเป นลบท งหมดม คนท ไม เป นโรคจร งๆก % Screening test ท ด ควรจะม NPV ส งๆ
Sensitivity, Specificity and PVs Sensitivity and specificity are intrinsic to the test and are not dependent of prevalence (pre-test probability) However, PPV and NPV are more clinically useful Dependent of prevalence (pre-test probability)
How to calculate sample size
Q&A