Theory
Watching, Properly किया गया
Unit 2 ने usability testing का IDEA सिखाया: real users को real tasks attempt करते हुए watch कीजिए। पर informally 'बस किसी को watch कीजिए' ज़्यादातर value miss कर देता है: आप भूल जाते हैं क्या test करना है, बहुत ज़्यादा मदद करते हैं, और एक vague 'यह okay लगा' पर खत्म करते हैं।
Professionally किया गया, usability testing एक disciplined 3-phase PROCESS है: plan, conduct, analyze। हर phase के rules casual watching को reliable findings में बदल देते हैं जिन पर आप act कर सकें।
यह lesson वह process है, FestConnect की registration prototype पर 5 first-years के साथ run किया गया।
Follow along
Usability Testing Process, Phase by Phase
- PLAN: Goals Define कीजिए Exactly decide कीजिए आप क्या सीखना चाहते हैं ('क्या first-years बिना मदद के register कर सकते हैं?') और कौन से metrics (success rate, time, errors)।
- PLAN: Tasks लिखिए + Recruit कीजिए Realistic, non-leading tasks लिखिए ('Garba Night के लिए register कीजिए'); लगभग 5 representative users recruit कीजिए (real first-years); prototype prepare कीजिए।
- CONDUCT: Brief करें और Reassure करें Participant को बताइए आप DESIGN test कर रहे हैं, उन्हें नहीं; think-aloud encourage कीजिए (अपने thoughts ज़ोर से बोलिए)।
- CONDUCT: Tasks दीजिए, Silently Observe कीजिए एक बार में एक task; देखिए वे कहाँ struggle करते हैं; मदद या lead मत कीजिए; notes लीजिए; consent से record कीजिए।
- ANALYZE: Patterns ढूँढिए सारे observations compile कीजिए; वे issues identify कीजिए जो MULTIPLE users hit करते हैं (patterns एक-off से ज़्यादा matter करते हैं)।
- ANALYZE: Severity Rate करें + Recommend करें Issues को critical से minor तक rank कीजिए; findings को अगले iteration के लिए prioritised, actionable fixes में बदलिए।
Theory
Phase 1: Planning ज़्यादातर Work है
एक test सिर्फ़ उतना ही अच्छा है जितना इसका plan। कोई बैठने से पहले:
- objectives define कीजिए: आप SPECIFICALLY क्या सीखना चाहते हैं? Vague goals vague results देते हैं
- task scenarios लिखिए: realistic और TASK-based ('Garba Night के लिए एक ticket book कीजिए'), कभी leading नहीं ('हमारा lovely नया date picker try कीजिए')
- representative participants recruit कीजिए: real target users (first-years), लगभग 5
- metrics decide कीजिए: task success rate, time on task, error count, satisfaction
- prototype और एक script prepare कीजिए
Planning में कंजूसी कीजिए और आप एक ऐसा session run करेंगे जो noise gather करता है। यह phase वह जगह है जहाँ testing succeed या fail होता है।
Theory
Phase 3: Chaos को Recommendations में बदलना
5 sessions के बाद आपके पास notes का एक ढेर है। Analysis उन्हें useful बनाता है:
- patterns ढूँढिए: एक issue जो 5 में से 4 users hit करते हैं REAL है; कुछ जो एक user ने एक बार किया वह एक fluke हो सकता है। Patterns, anecdotes नहीं, decisions drive करते हैं
- severity rate कीजिए: एक bug जो registration को BLOCK करता है CRITICAL है; एक slightly-confusing label MINOR है। पहले critical fix कीजिए
- prioritise कीजिए और recommend कीजिए: findings को ACTIONABLE changes की एक ranked list में translate कीजिए
Output 'test ने problems दिखाए' नहीं है: यह है '3 critical issues हैं, ranked, recommended fixes के साथ' जो सीधे अगले design iteration में feed होता है (अगला lesson)।
Quiz
Usability testing process के तीन main phases क्या हैं?
- Design, code, deploy
- Plan, conduct, analyze
- Sketch, colour, animate
- Research, ignore, ship
- Brand, market, sell
Show the answer
Plan, conduct, analyze
Usability testing 3 disciplined phases में run होता है: PLAN (goals, tasks, participants, metrics), CONDUCT (brief कीजिए, tasks दीजिए, silently observe कीजिए), और ANALYZE (patterns ढूँढिए, severity rate कीजिए, fixes recommend कीजिए)। यह structure वही है जो reliable findings को casual watching से separate करता है। Option A software BUILD lifecycle है, testing नहीं। Option C visual-design steps list करता है। Option D में 'ignore' है, एक test के purpose का opposite। Option E marketing है। Plan-conduct-analyze को process spine की तरह memorise कीजिए; हर phase के अपने rules हैं (non-leading tasks लिखिए; मदद किए बिना observe कीजिए; severity से prioritise कीजिए), और exam अक्सर आपसे हर phase के steps expand करने को कहता है।
Think first
एक User बनाम एक Pattern
आपके 5 sessions में, एक participant ने profile photo upload में fumble किया, जबकि पाँच में से चार date field पर stuck हो गए। Limited time के साथ, आप पहले कौन सा fix करेंगे, और कौन सा principle decide करता है? फिर tap कीजिए।
Show the answer
पहले date field fix कीजिए। Principle PATTERNS OVER ANECDOTES है SEVERITY के साथ combined: 5 में से 4 users का same wall hit करना एक real, widespread problem का एक strong, recurring signal है, जबकि एक person का photo-upload fumble एक fluke हो सकता है (fatigue, misunderstanding) और पूरे flow को कहीं कम affect करता है। Analysis exactly यही triage है: issues को इस हिसाब से weight दीजिए कि कितने MANY users इन्हें hit करते हैं और यह task को कितनी BADLY block करता है, फिर पहले critical, common वालों को fix कीजिए। हर एक-off को chase करना limited time waste करता है; recurring, blocking issue वह जगह है जहाँ impact है। Data-driven prioritisation, gut feeling नहीं।
Watch out
Process Slips
Weak Planning: vague goals और leading tasks session शुरू होने से पहले ही doom कर देते हैं।
Test के दौरान मदद करना: एक stuck user को rescue करना finding erase कर देता है (Unit 2 का hard rule); silently observe कीजिए।
Anecdotes Report करना: 'एक user struggle किया' weak है; users के आर-पार PATTERNS report कीजिए, severity से ranked।
कोई Actionable Output नहीं: findings को prioritised RECOMMENDATIONS बनना चाहिए, सिर्फ़ एक problem list नहीं, वरना कुछ नहीं बदलता।
बहुत देर से Testing: prototypes early test कीजिए (cost-of-change), finished build नहीं।
Theory
Findings तब तक Useless हैं जब तक आप Act नहीं करते
एक test जो critical fixes की एक ranked list produce करता है सिर्फ़ आधी value है; दूसरा आधा design को असल में CHANGE करना और फिर से TEST करना है। वह loop: design, test, learn, refine, retest: ITERATIVE design process है, और यह अगला lesson है: वह engine जो feedback को एक genuinely better FestConnect में बदलता है, एक बार में एक cycle। Iteration के बिना testing सिर्फ़ complaints collect करना है।
Summary
Key takeaways
- Usability testing 3 phases में run होता है: plan, conduct, analyze।
- Plan: goals और metrics define कीजिए, realistic non-leading tasks लिखिए, लगभग 5 representative users recruit कीजिए, prototype prepare कीजिए।
- Conduct: brief कीजिए और reassure कीजिए (design test हो रहा है, वे नहीं), think-aloud encourage कीजिए, एक बार में एक task दीजिए, मदद किए बिना silently observe कीजिए।
- Analyze: users के आर-पार patterns ढूँढिए, severity rate कीजिए (critical से minor तक), actionable recommendations में prioritise कीजिए।
- Metrics: task success rate, time on task, error rate, satisfaction।
- Patterns anecdotes को beat करते हैं; पहले common, blocking issues fix कीजिए।
- Memory hook: plan, conduct, analyze: users को watch करना, discipline के साथ।