تعريف المشكلة. يحتاج الإحصائيون إلى تعريف محدد لطبيعة المشكلة المراد بحثها وذلك بغرض الحصول على بيانات دقيقة بشأنها. فعلى سبيل المثال، إذا طُلب من إحصائي إجراء تعداد لسكان مدينة معينة في تاريخ معين، فإن عليه أن يعرف المعنى المراد بكلمة ساكن وذلك حتى يتمكن من تحديد الأشخاص الذين ينبغي أن يشملهم التعداد. فعلى الإحصائي مثلًا أن يقرر ما إذا كان حديثو الولادة في المستشفيات، والطلاب الموجودون بصفة مؤقتة بعيدًا عن كلياتهم ومدارسهم، والأشخاص الذين يقومون بزيارات طارئة للمدينة من أماكن أخرى، من السكان. فإذا لم يتمكن الإحصائي من تحديد المراد بالكلمة ساكن فإنه يصبح من الصعب عليه البدء في جمع البيانات المطلوبة.
جمع البيانات. يحتاج المرء إلى معلومات متعددة وذلك فيما يختص بالمشكلات المختلفة. فالدراسة المتأنية لحالة بعينها مثل حادث تحطم طائرة، غالبًا ما تكون مفيدة. ولكن جمع البيانات عن الحوادث المشابهة سيقدم حتمًا معلومات يعتمد عليها في معرفة الأسباب الكامنة وراء الحادث.
إن تحديد الطرق التي ينبغي أن تُجمع بها البيانات المطلوبة إحدى أهم المهام التي يضطلع بها الإحصائي. ويمكن الحصول على بعض البيانات بصورة سهلة وقليلة التكاليف مثل قراءة مقياس الحرارة. ولكن، كثيرًا ما يلجأ الإحصائي إلى الاعتماد على عدد صغير من المشاهدات المختارة بعناية والمسماة عينة للحصول على المعلومات عن الكل.