Comments on: Test Efficiency Vs Test Effectiveness ความแตกต่าง และ การวัดค่า http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/ Thai Software Testing Blog Sun, 29 Jan 2012 03:52:46 +0000 hourly 1 http://wordpress.org/?v=3.3.1 By: Akiko http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-532 Akiko Thu, 11 Jun 2009 03:12:52 +0000 http://www.welovebug.com/?p=873#comment-532 จริงๆ แล้วเอาตามความเข้าใจของตัวเองนะคะ 1. Develop Test Plan คือ การวางแผนการทดสอบ ซึ่งใน Test Plan จะมีองค์ประกอบหลายส่วน 1. Test Schedule 2. Test Strategy 3. Risks and Assumption 2. Developt Test Script/Test Case Test Script จะกำหนดขั้นตอนและลำดับการทดสอบ รวมถึงกำหนด Scenario Test Case เป็น Subset ของแต่ละ Scenario อีกที ซึ่งโดยปกติ Test Case ที่ทำจะระบุ Test Data ที่จะใช้ Input เข้าไปเพื่อทดสอบระบบด้วยค่ะ แต่สิ่งที่อยากได้ คือ อยากดูตัวอย่างทั้ง Test Plan & Test Script ที่องค์กรอื่นเค้าทำงานกันค่ะ เพราะเกิดความไม่แน่ใจในเอกสารที่ทำงานอยู่ในปัจจุบัน ว่าถูกต้องหรือไม่ค่ะ ขอบคุณ K. Natdanai มากๆ นะคะ จริงๆ แล้วเอาตามความเข้าใจของตัวเองนะคะ
1. Develop Test Plan คือ การวางแผนการทดสอบ ซึ่งใน Test Plan จะมีองค์ประกอบหลายส่วน
1. Test Schedule
2. Test Strategy
3. Risks and Assumption
2. Developt Test Script/Test Case
Test Script จะกำหนดขั้นตอนและลำดับการทดสอบ รวมถึงกำหนด Scenario
Test Case เป็น Subset ของแต่ละ Scenario อีกที ซึ่งโดยปกติ Test Case ที่ทำจะระบุ Test Data ที่จะใช้ Input เข้าไปเพื่อทดสอบระบบด้วยค่ะ
แต่สิ่งที่อยากได้ คือ อยากดูตัวอย่างทั้ง Test Plan & Test Script ที่องค์กรอื่นเค้าทำงานกันค่ะ เพราะเกิดความไม่แน่ใจในเอกสารที่ทำงานอยู่ในปัจจุบัน ว่าถูกต้องหรือไม่ค่ะ
ขอบคุณ K. Natdanai มากๆ นะคะ

]]> By: Nutdanai http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-441 Nutdanai Mon, 04 May 2009 10:07:07 +0000 http://www.welovebug.com/?p=873#comment-441 ตามสัญญา เขียนบทความเกี่ยวกับ Test plan กับ Test script ไปแปะไว้ให้แล้วนะครับ เข้าไปดูที่หน้าแรกได้เลยครับ ตามสัญญา เขียนบทความเกี่ยวกับ Test plan กับ Test script ไปแปะไว้ให้แล้วนะครับ เข้าไปดูที่หน้าแรกได้เลยครับ

]]> By: Nutdanai http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-437 Nutdanai Thu, 30 Apr 2009 07:49:50 +0000 http://www.welovebug.com/?p=873#comment-437 ไม่แน่ใจว่าเข้าใจถูกหรือเปล่า แต่ถ้าพูดถึง Test Plan กับ Test Script เนี่ยเป็น document คนละประเภทกันเลยนะครับ ถ้าเป็นไปได้ช่วยระบุหน่อยครับว่าอยากได้ตัวอย่างหรือข้อมูลด้านไหน คิดว่าหัวข้อต่อไปที่จะเขียนอาจจะเขียนอธิบายว่า Test plan คืออะไร ตามstandard แล้วประกอบด้วยข้อมูลอะไรบ้างดีมั๊ยครับ อาจจะมีเสริมๆด้วยว่า Test script คืออะไร test condition คืออะไร test case คืออะไร เพราะคิดว่าน่าจะมีสับสนกันบ้างหล่ะสำหรับนิยามของคำศัพท์กลุ่มนี้ ไม่แน่ใจว่าเข้าใจถูกหรือเปล่า แต่ถ้าพูดถึง Test Plan กับ Test Script เนี่ยเป็น document คนละประเภทกันเลยนะครับ ถ้าเป็นไปได้ช่วยระบุหน่อยครับว่าอยากได้ตัวอย่างหรือข้อมูลด้านไหน
คิดว่าหัวข้อต่อไปที่จะเขียนอาจจะเขียนอธิบายว่า Test plan คืออะไร ตามstandard แล้วประกอบด้วยข้อมูลอะไรบ้างดีมั๊ยครับ อาจจะมีเสริมๆด้วยว่า Test script คืออะไร test condition คืออะไร test case คืออะไร เพราะคิดว่าน่าจะมีสับสนกันบ้างหล่ะสำหรับนิยามของคำศัพท์กลุ่มนี้

]]> By: Akiko http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-436 Akiko Thu, 30 Apr 2009 05:09:09 +0000 http://www.welovebug.com/?p=873#comment-436 K. Nutdanai มีตัวอย่างการทำ Test Plan / Test Script มั้ยคะ K. Nutdanai มีตัวอย่างการทำ Test Plan / Test Script มั้ยคะ

]]> By: Choravee http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-421 Choravee Thu, 23 Apr 2009 02:18:54 +0000 http://www.welovebug.com/?p=873#comment-421 thanks for good article :) thanks for good article :)

]]> By: Bugz Bunny http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-420 Bugz Bunny Wed, 22 Apr 2009 06:20:35 +0000 http://www.welovebug.com/?p=873#comment-420 ขอขอบคุณ K. Nutdanai มาก ๆ ค่ะ ถามปุ๊บ ตอบปั๊บ กันเลยทีเดียวค่ะ ได้คำอธิบายที่ชัดเจน แถมช่วยเพิ่มเรื่อง DM Rate มาให้ด้วย ขอบคุณมาก ๆ ค่ะ ... *v* ขอขอบคุณ K. Nutdanai มาก ๆ ค่ะ ถามปุ๊บ ตอบปั๊บ กันเลยทีเดียวค่ะ ได้คำอธิบายที่ชัดเจน แถมช่วยเพิ่มเรื่อง DM Rate มาให้ด้วย ขอบคุณมาก ๆ ค่ะ … *v*

]]> By: Nutdanai http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-417 Nutdanai Wed, 22 Apr 2009 04:28:05 +0000 http://www.welovebug.com/?p=873#comment-417 ลืมบอกไปว่า DM Rate ย่อมาจาก Defect Measure Rate ครับ วันนี้ค่อนข้างเบลอๆ อาจจะเขียนแล้วงงๆไปบ้าง ถ้าอ่านแล้วสงสัยตรงไหนก็ถามกลับมาได้เลยนะครับ แฮ่ะๆ ลืมบอกไปว่า DM Rate ย่อมาจาก Defect Measure Rate ครับ
วันนี้ค่อนข้างเบลอๆ อาจจะเขียนแล้วงงๆไปบ้าง ถ้าอ่านแล้วสงสัยตรงไหนก็ถามกลับมาได้เลยนะครับ แฮ่ะๆ

]]> By: Nutdanai http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-416 Nutdanai Wed, 22 Apr 2009 04:24:35 +0000 http://www.welovebug.com/?p=873#comment-416 มาต่อกันเรื่อง Test efficiency นะครับ จริงๆแล้วจะนำ effort ส่วนไหนมาคิดคำนวนบ้างเนี่ยค่อนข้างจะยืดหยุ่นขึ้นอยู่กับว่าเราอยากจะ Focus ทางด้านไหนนะครับ แต่โดยปกติจะนำ effort ที่เกี่ยวข้องกับ test team ทั้งหมดมาคิดนั่นคือ Test plan + Test design&Preparation + Test execution ครับ ที่เคยทำมาเนี่ยจะไม่นับ effort ส่วนที่ developer ใช้ในการ fix bug นะครับ เพราะเราต้องการดู efficiency ของ test team ว่าเราลงทุนลงแรงไปเท่าไหร่ แล้วได้รับผลกลับมาเท่าไหร่ หรือดูว่าลงแรงไปกี่ชั่วโมงกว่าจะเจอบั๊กซักตัวนั่นเอง ทีนี้มันจะมีเมตริกอีกตัวที่ชื่อ DM Rate ครับ สามารถนำมาประยุกต์ใช้ด้วยกันได้ ถ้าสนใจอยากเอา severity ของบั๊กเข้ามาเกี่ยวข้องด้วย สูตรของ DM Rate คือ DM = 10*H+5*M+L DM Rate = DM/Hours of test effort ตัวเลข 10, 5, xx พวกนี้สามารถปรับได้นะครับ พูดง่ายๆคือเรามีการให้ wage กับความรุนแรงของบั๊กที่เจอด้วย เพราะ efficiency คือการดูความคุ้มค่า ฉะนั้นความคุ้มค่าก็จะเกี่ยวเนื่องกับ cost ที่กล่าวไปข้างต้น ดังนั้นก็ควรจะให้เครดิตกับการเจอบั๊กที่มีความรุนแรงมากเป็นพิเศษเพราะช่วยให้ save cost of low quality ได้เยอะครับ มาต่อกันเรื่อง Test efficiency นะครับ จริงๆแล้วจะนำ effort ส่วนไหนมาคิดคำนวนบ้างเนี่ยค่อนข้างจะยืดหยุ่นขึ้นอยู่กับว่าเราอยากจะ Focus ทางด้านไหนนะครับ แต่โดยปกติจะนำ effort ที่เกี่ยวข้องกับ test team ทั้งหมดมาคิดนั่นคือ Test plan + Test design&Preparation + Test execution ครับ ที่เคยทำมาเนี่ยจะไม่นับ effort ส่วนที่ developer ใช้ในการ fix bug นะครับ เพราะเราต้องการดู efficiency ของ test team ว่าเราลงทุนลงแรงไปเท่าไหร่ แล้วได้รับผลกลับมาเท่าไหร่ หรือดูว่าลงแรงไปกี่ชั่วโมงกว่าจะเจอบั๊กซักตัวนั่นเอง
ทีนี้มันจะมีเมตริกอีกตัวที่ชื่อ DM Rate ครับ สามารถนำมาประยุกต์ใช้ด้วยกันได้ ถ้าสนใจอยากเอา severity ของบั๊กเข้ามาเกี่ยวข้องด้วย
สูตรของ DM Rate คือ DM = 10*H+5*M+L
DM Rate = DM/Hours of test effort
ตัวเลข 10, 5, xx พวกนี้สามารถปรับได้นะครับ พูดง่ายๆคือเรามีการให้ wage กับความรุนแรงของบั๊กที่เจอด้วย เพราะ efficiency คือการดูความคุ้มค่า ฉะนั้นความคุ้มค่าก็จะเกี่ยวเนื่องกับ cost ที่กล่าวไปข้างต้น ดังนั้นก็ควรจะให้เครดิตกับการเจอบั๊กที่มีความรุนแรงมากเป็นพิเศษเพราะช่วยให้ save cost of low quality ได้เยอะครับ

]]> By: Nutdanai http://www.welovebug.com/software-testing/test-efficiency-vs-test-effectiveness-difference-kpi/comment-page-1/#comment-415 Nutdanai Wed, 22 Apr 2009 04:14:37 +0000 http://www.welovebug.com/?p=873#comment-415 ยินดีที่บทความที่เขียนไว้กระตุ้นความสงสัยจนมากล้นครับ :) เลยลองมาตอบคำถามบวกกับเพิ่มความคิดเห็นส่วนตัวให้ดังนี้ครับ ขอเริ่มตอบจาก DDP ก่อนแล้วกันครับ อย่างแรกเลย ต้องทำความเข้าใจก่อนว่า DDP นั้นจริงๆแล้วไม่ได้มีจุดประสงค์ในการวัดประสิทธิภาพในการทำงานของ Tester เอง แต่เพื่อใช้วัดในระดับองค์กรว่า มีความสามารถในการตรวจเจอบั๊กก่อนที่จะส่งมอบโปรแกรมให้ลูกค้ามากหรือน้อยแค่ไหน ดังนั้น severity ของบั๊กจึงไม่ได้ถูกนำมา focus มากนักเนื่องจากเรามองในภาพของจำนวนบั๊กทั้งหมดใน product ถ้ามองในมุมของ severity เข้ามาเกี่ยวข้องเนี่ย น่าจะเกี่ยวข้องกับมุมของ cost effectiveness ด้วยมากกว่าหน่ะครับ เพราะว่าถ้าเราเจอบั๊กที่มี severity สูง นั่นหมายความว่าโอกาสที่ลูกค้าจะไม่เจอบั๊กที่ส่งผลกระทบกับ production ของเค้าก้อมีมากขึ้นด้วย ฉะนั้น cost of low quality ทั้งในแง่ของเราและลูกค้าก็จะต่ำ ยกตัวอย่าง cost of low quality ของเราก็อย่างเช่น การเสียชื่อเสียงขององค์กร หรือในบางกรณีถ้าโปรแกรมของเรามีบั๊กประเภทรุนแรง เราอาจจะโดนปรับด้วยถ้ามีการระบุไว้ในสัญญา ทั้งหลายทั้งปวงนี้ก็ขึ้นอยู่กับว่าเราอยากจะใช้ DDP เพื่อเอาไว้บ่งชี้อะไร ถ้าให้แนะนำคือนับ High severity กับ Medium severity รวมกันไปเลยแล้วตัด Low severity ออก แต่ที่สำคัญที่สุดคือ เรานับอันไหนของ System test ก็ต้องนับของที่ลูกค้าแจ้งเข้ามาให้เหมือนกัน อย่างเช่นถ้าของ system test นับเฉพาะ high & medium ของ post release ที่ลูกค้าแจ้งเข้ามาก็ต้องนับเฉพาะ high & medium เหมือนกันครับ ยินดีที่บทความที่เขียนไว้กระตุ้นความสงสัยจนมากล้นครับ :) เลยลองมาตอบคำถามบวกกับเพิ่มความคิดเห็นส่วนตัวให้ดังนี้ครับ

ขอเริ่มตอบจาก DDP ก่อนแล้วกันครับ
อย่างแรกเลย ต้องทำความเข้าใจก่อนว่า DDP นั้นจริงๆแล้วไม่ได้มีจุดประสงค์ในการวัดประสิทธิภาพในการทำงานของ Tester เอง แต่เพื่อใช้วัดในระดับองค์กรว่า มีความสามารถในการตรวจเจอบั๊กก่อนที่จะส่งมอบโปรแกรมให้ลูกค้ามากหรือน้อยแค่ไหน ดังนั้น severity ของบั๊กจึงไม่ได้ถูกนำมา focus มากนักเนื่องจากเรามองในภาพของจำนวนบั๊กทั้งหมดใน product
ถ้ามองในมุมของ severity เข้ามาเกี่ยวข้องเนี่ย น่าจะเกี่ยวข้องกับมุมของ cost effectiveness ด้วยมากกว่าหน่ะครับ เพราะว่าถ้าเราเจอบั๊กที่มี severity สูง นั่นหมายความว่าโอกาสที่ลูกค้าจะไม่เจอบั๊กที่ส่งผลกระทบกับ production ของเค้าก้อมีมากขึ้นด้วย ฉะนั้น cost of low quality ทั้งในแง่ของเราและลูกค้าก็จะต่ำ ยกตัวอย่าง cost of low quality ของเราก็อย่างเช่น การเสียชื่อเสียงขององค์กร หรือในบางกรณีถ้าโปรแกรมของเรามีบั๊กประเภทรุนแรง เราอาจจะโดนปรับด้วยถ้ามีการระบุไว้ในสัญญา
ทั้งหลายทั้งปวงนี้ก็ขึ้นอยู่กับว่าเราอยากจะใช้ DDP เพื่อเอาไว้บ่งชี้อะไร ถ้าให้แนะนำคือนับ High severity กับ Medium severity รวมกันไปเลยแล้วตัด Low severity ออก แต่ที่สำคัญที่สุดคือ เรานับอันไหนของ System test ก็ต้องนับของที่ลูกค้าแจ้งเข้ามาให้เหมือนกัน อย่างเช่นถ้าของ system test นับเฉพาะ high & medium ของ post release ที่ลูกค้าแจ้งเข้ามาก็ต้องนับเฉพาะ high & medium เหมือนกันครับ

]]>