Manual vs. Automated Testing

สวัสดีค่ะ วันนี้ผู้เขียนใคร่อยากจะนำประสบการณ์จากที่ได้ทำงานด้าน software testing มาเล่าให้ฟัง
กับหนึ่งคำถามที่มักเกิดขึ้นในใจเมื่อจะทดสอบระบบ ควรใช้ Manual Testing หรือ Automated Testing
ในการทดสอบระบบ? ก่อนขึ้นต้องทำความรู้จักการทดสอบทั้ง 2 ประเภทก่อน

Manual Testing
->  การทดสอบโดยไม่ใช้เครื่องคอมพิวเตอร์
->  เหมาะกับงานที่ทดสอบเพียงครั้งเดียวหรือรอบเดียว
Automated Testing
->  การทดสอบด้วยเครื่องคอมพิวเตอร์
->  เหมาะกับงานทดสอบประเภทที่ต้องทำซ้ำ ๆ  เช่น regression testing

ไม่ว่าคุณจะเลือกทดสอบแบบ Manual  หรือ Automated อย่าลืมที่จะทำ test case หรือ test script
ก่อนเสมอ เพราะจะช่วยให้คุณสามารถ test ได้อย่างครบถ้วนตาม requirement ของผู้ใช้ระบบ

การทดสอบแบบ Autometed หากพิจาณากันดี ๆ จะใช้เวลาในการทำมากกว่า Manual Testing
เพราะจะต้องเสียเวลาทำ script ก่อน perform test และเกิดความยุ่งยากตอนทำ script ยิ่งถ้าคุณ
ไม่ชำนาญ tool ที่ใช้พอเป็นอันว่าจะต้องเสียเวลาลองถูกลองผิด หรือแม้กระทั่งจะชำนาญ tool ที่ใช้อยู่แล้ว
ก็ไม่ได้หมายความว่า เมื่อ record script แล้วจะสามารถ re-run script ได้เลย ผู้เขียนเคยมีประสบการณ์
ทดสอบระบบ software package ตอนที่ record  scriptระบบจะเริ่มจาก page ที่ 1 ไปยัง page ที่ 2
และ page ที่ 3 ตามลำดับ แต่เมื่อทำการ re-run script อีกรอบ ระบบเริ่มจาก page 2 และ page ที่ 3 เลย
เพราะ page ที่ 1 จะแสดงเฉพาะการเข้าใช้งานครั้งแรก เป็นอันว่าต้องแก้ไข script กันจนหน้ามืดเหมือนกัน

การทดสอบแบบ manual มีความสะดวกและรวดเร็ว เพราะไม่ต้องเสียเวลาในการทำ script แค่คุณมี test case
หรือ test script และระบบที่จะทดสอบ เท่านั้นคุณก็ perform test ได้เลย การทำ manual test สามารถ
ทำได้ค่อนข้างละเอียดกว่าแบบ automated ด้วยเหตุผลที่ว่า ช่วงขณะที่ทำ perform test หากต้องการที่
จะทำการทดสอบเพิ่มเติมสามารถทำได้ทันที แต่ถ้าเป็น automated ต้องเสียเวลากลับไปแก้ไข script
แต่ถ้าหากระบบเกิดมี change requirement หลังจาก production แล้ว ซึ่งถ้า requierment นั้นเกิด
impact กับ core function และมีเหตุให้ต้อง manual อีกรอบบอกได้เลยว่า เตรียมหน้ามืดได้เหมือนกัน         

ถึงแม้จะเลือกการทดสอบระบบแบบ Automated Testing  ก็ควรทำ Manual Testing ก่อน
เพราะการทำ Manual Testing ก่อน จะช่วยลด bug ที่จะเกิดขึ้นในระบบ
และยังช่วยให้ script ที่ใช้ run ไม่เกิดสะดุดเวลา re-run script

โดยส่วนตัวผู้เเขียนชอบทำ Manual Testing มากกว่า เพราะสามารถทดสอบได้ละเอียดกว่า
หากต้องตัดสินใจว่าควรเลือกการทดสอบแบบ Manual Testing หรือ Automated Testing
คุณคงต้องพิจารณาหลายปัจจัยเหมือนกัน เช่น เงื่อนไขของเวลา , ความซับซ้อนของระบบที่จะทดสอบ
คำสั่งจากเบื้องบน หรือปัจจัยอื่น ๆ  ซึ่งปัจจัยต่าง ๆ เหล่านี้ อาจมีส่วนช่วยคุณตัดสินใจว่า
ว่าควรใช้ Manual Testing หรือ Automated Testing ถึงจะเหมาะกับการทดสอบระบบของคุณ

Performance Testing นั้น…สำคัญไฉน อรัมภบท

สวัสดียามค่ำคืนวันอังคารที่ 11 พฤศจิกายน 2551 ตรงกับวันขึ้น 14 ค่ำ เดือน 12 พรุ่งนี้ก็วันลอยกระทงอีกแล้ว ไวจริงๆ (ลอยกระทง เกี่ยวไรกับ Software Testing เนี่ย???)

กลับมาเข้าเรื่องเลยละกัน ตั้งใจไว้นานแล้วที่จะเขียนบทความเกี่ยวกับ Performance Testing แต่ก็ติดโน้น…นี่…นั่น…อยู่ตลอด ทั้งงานราษฎร์ และงานหลวง จน ไม่ได้ลงมือทำสักที จนกระทั่งได้เวลาอันเป็นมงคลแบบนี้ (ไม่ได้เกี่ยวเลย) แต่ก็ต้องบอกก่อนว่า วัตถุดิบ ของผู้เขียนที่นำมาใช้ในการเขียนบทความเกี่ยวกับ Performance Testing นั้น นำมาจาก

• ประสบการณ์ส่วนตัวกับการทำ Performance Testing
• เอกสารต่างๆ ที่ Download มาจาก Internet ที่เกี่ยวกับ Performance Testing
• ข้อมูลจาก Website ที่เกี่ยวกับ Software Performance Testing

ก็ต้องออกตัวไว้ก่อนว่าใน 100% ของเนื้อหาบทความเกี่ยวกับ Performance Testing บางช่วง บางตอน อาจจะหนักไปทางประสบการณ์ส่วนตัว บ้างอาจจะหนักไปทางข้อมูลจากเอกสาร และบ้างอาจจะหนักไปทางข้อมูลจาก Website ผู้เขียนก็จะพยายามที่จะผสมผสาน คลุกเคล้า ให้บทความเกี่ยวกับ Performance Testing ออกมาอย่างมีรสชาติ, เข้าใจง่าย และหวังว่าผู้อ่าน จะสามารถนำไปใช้ประโยชน์ได้ไม่มากก็น้อยครับ

Read the rest of this entry »

มนต์เสน่ห์ของอาชีพ Software Tester

สวัสดียามเที่ยงของวันศุกร์สุดท้ายของเดือนตุลาคม ที่สภาพอากาศ ครึ้มฟ้า ครึ้มฝน แบบนี้ หลายๆ คน น่าจะกำลังเดินออกจากที่ทำงาน ไปหาอะไร อร่อย อร่อย สำหรับมื้อเที่ยงแบบนี้ ผ่านพ้นไปสำหรับงานครั้งที่ 3 ของ Thailand SPIN Software Testing - Define Your Test Strategy ซึ่งได้คุณโอ มาเขียนบทความสรุปให้ในหัวข้อเรื่อง ควันหลงงาน Thailand Spin วันที่14 : Defining Your Test Strategy ลองเข้าไปอ่านกันได้

มาว่ากันด้วยเรื่องที่โปรยหัวไว้ดีกว่า มนต์เสน่ห์ของอาชีพ Software Tester หัวข้อเดียวเอามาหากินได้หลายครั้งเลย ขอท้าวความเล็กๆ ของที่มาที่ไปของหัวเรื่องนี้ก่อนนะครับ

สืบเนื่องจากผู้เขียนได้รับเชิญเป็น Panelist ของ Panel Discussion ไปร่วมงาน QA Day 2008 ของบริษัทแห่งหนึ่ง ในหัวข้อเสวนาเรื่อง Software Testing in Your Perspective ในวันที่ 25 กันยายน 2551 ที่ผ่านมา และมีคำถามที่ผู้ดำเนินรายการได้ถามมาและโดนใจมากๆ มนต์เสน่ห์ของอาชีพ Software Tester คืออะไร?

ก็เลยหยิบคำถามนี้ไปเปิดกระทู้ไว้ใน Software Testing Forum และก็ได้รับการตอบรับจาก เพื่อนพ้องน้องพี่ ทั้งหลายในสายอาชีพของ Software Tester มาช่วยกันตอบคำถามในมุมมองของแต่ละบุคคลว่า มนต์เสน่ห์ของอาชีพ Software Tester คืออะไร?

Read the rest of this entry »

ทำยังไงดี Bug โดน Reject อีกแล้ว

สวัสดีครับ หลังจากที่คราวที่แล้วเล่าเรื่อง Test Efficiency & Effectiveness ให้ฟังกันไปแล้ว คราวนี้มาลองคุยกันเรื่องเบาๆ (แต่อาจจะเป็นเรื่องที่ทำให้หลายๆคนเกิดอาการเซ็งกันได้บ่อยๆ) กันหน่อยดีกว่าครับ

คำพูดที่หลายๆคนคุ้นหู

“ตัวนี้มันไม่ใช่ Bug นะครับคุณTester นี่มัน Expect Behavior มันต้องเป็นอย่างนี้แหล่ะ เชื่อผมๆ”

มีใครเคยได้ยินประโยคคลาสสิคแนวๆนี้มั่งมั๊ยครับ แล้วลองคิดดูนะครับ ว่าที่ผ่านมาเรามี reaction อย่างไรกับคำพูดนี้ เท่าที่ผมเคยเห็น หรือเคยได้ฟังคนมาบ่นบ่อยๆ ก็จะมีสองกรณีหลักๆ

1. “เอ่อออ เหรอ จริงเหรอ มันต้องเป็นอย่างนี้จริงๆเหรอ… อ่า แต่มันดูแปลกๆนะ อ่า…. เหรอ ไม่ใช่จริงๆ หรอ… อืมๆๆ ไม่ใช่ก็ได้แหล่ะมั้ง เดี๋ยวไป reject ให้ละกันนะ”

หรือแบบที่สอง (หลังจากที่โดน Reject มาสิบตัว อารมณ์กำลังคุกรุ่น อาจจะเป็นแบบนี้)

2. “อะไรนะ ไม่ใช่อีกแล้วเหรอ ทำไม Report มาสิบตัว มันไม่ใช่ Bug หมดเลยเนี่ย มั่วป่าว ทำไมไม่ยอมรับอะไรเลยเนี่ย….(ตูม ตาม ตูม ตาม)

คือ สรุปว่า ถ้าไม่ยอมให้ Reject (แบบไม่เต็มใจ) ก้อจะออกแนว หงุดหงิด โมโห น้อยใจในโชคชะตากันไปเลย หรือถ้าแย่กว่านั้นคือ ต่อไป Tester คนนั้นก็จะเลิก Record Bug ที่เจอ หรือไม่ก็เวลาเจออะไรที่คิดว่าเป็น Bug ก็จะวิ่งไปถาม Developer ก่อน แล้วก้อจะโดนบอกมาว่าไม่ใช่ Bug แล้วก้อจะปล่อยมันผ่านไปไม่ Record อะไรใดๆทั้งสิ้น

จริงๆแล้ว วิธีรับมือกับปัญหาประเภทนี้ ทำได้ไม่ยากหรอกครับ

Read the rest of this entry »

ควันหลงงาน Thailand Spin วันที่14 : Defining Your Test Strategy

สวัสดีครับ รับปากคุณ Zyracuse ไว้ตั้งแต่วันงานแล้วว่าจะเขียนเล่าสรุป งาน software testing ของ Thailand Spin เมื่อวันที่ 14 ต.ค. ในหัวข้อ Defining Your Test Strategy แต่ติด priority ด่วนจริงๆของ software release เลยเพิ่งจะมาเขียนได้คืนนี้ ยังไงก็ไปดูกันเลยครับ

Concept โดยรวมของงานนี้ที่ทาง working group วางกันไว้ก็คืออยากจะคุยกันถึงภาพรวมว่า test strategy คืออะไร มีประโยชน์อย่างไร และเวลาทำtest strategy จะต้องคำนึงถึงอะไรบ้าง ก่อนที่จะมีงานครั้งต่อๆไปตามมาโดยเจาะหัวข้อการทำ test เจาะจงในเชิงลึก เช่น performance testing, UAT เป็นต้น …

พอคุยกันได้ซักพัก ก็เห็นตรงกันว่า test strategy แต่ละที่ ก็อาจจะมีความแตกต่างกันที่เกิดขึ้นจากหลายปัจจัยได้ โดยเฉพาะหาก business model หรือ application nature มีความแตกต่างกัน ทางเราก็คิดว่าน่าจะเชิญคนมาร่วมเสวนาที่สามารถ share แง่มุมได้หลากหลาย ก็เลยเป็นที่มาของ buffet ความรู้ Testing (แบบไม่จำกัดความรู้ แต่จำกัดที่เวลา ^-^ ) ที่เราได้รับเกียรติจากผู้มีประสบการณ์ 4 ท่าน ซึ่งมาจาก KBank (testing software developed by other organization), Avalant (Project based solution provider), Wealth Management (Product based), และ Sanook (Services based) ซึ่งทั้ง 4 ท่านก็ได้มาเล่าเรื่องแลกเปลี่ยนความคิดเห็นกันอย่างเข้มข้น และมีคำถามจากผู้เข้าร่วมงานเข้ามาอย่างต่อเนื่องเลยทีเดียวครับ

สำหรับคนที่พลาดงานนี้ไป ผมเขียนสรุปไว้คร่าวๆให้ ดังนี้ครับ …………

Read the rest of this entry »

จะรู้ได้ยังไงว่าเราทำ Test ได้ดีพอรึยัง วิธีง่ายๆในการวัด Effectiveness และ Efficiency ของการ Test

QA หลายๆคนคงเคยมีคำถามว่า เราจะรู้ได้ยังไงว่าสิ่งที่ทำไปอยู่ทุกวันเนี่ย มันดีแล้วรึเปล่า ทำงานได้ Effective รึยังน้อ จะคุ้มเงินค่าจ้างที่เค้าให้เรามามั๊ยนะ (อันนี้อาจจะไม่ค่อยได้คิดกัน)

เรื่องนี้แม้แต่ผู้บริหาร หรือ QA Manager หลายๆท่านที่เคยได้เข้า class ที่ผู้เขียนสอน ก็มักจะมีคำถามว่า เราจะมีวิธีวัดประสิทธิภาพ และประสิทธิผลของการทำเทสยังไงได้บ้าง

จริงๆแล้วการวัด Effectiveness & Efficiency นั้นมีหลากหลายวิธีด้วยกัน แต่ขอเริ่มจากอันง่ายๆ ที่เคยเห็นเคยใช้มาก่อนแล้วกันนะครับ

Read the rest of this entry »

[forum] มนต์เสน่ห์ของอาชีพ Software Tester คืออะไร?

สืบเนื่องจากผู้เขียนได้รับเชิญเป็น Panelist ของ Panel Discussion ไปร่วมงาน QA Day 2008 ของบริษัทแห่งหนึ่ง ในหัวข้อเสวนาเรื่อง Software Testing in Your Perspective ในวันที่ 25 กันยายน 2551 ที่ผ่านมา

จากงานนี้มีคำถามที่โดนใจมากมากคือ มนต์เสน่ห์ของอาชีพ Software Tester คืออะไร?

เลย ขอหยิบยกมาเป็นคำถาม ถามเหล่าเพื่อนพ้องน้องพี่เหล่า Software Testing และ Tester ทั้งหลาย ไม่ว่าคุณจะเป็น Tester ในหน่วยงานไหน หรือ Product แบบไหนว่า มนต์เสน่ห์ของอาชีพ Software Tester คืออะไร?

ร่วมแสดงความคิด ความเห็น ได้ที่ http://forum.sanook.com/forum/?topic=2515237

บอกเล่าเรื่องราว Game Tester (ครั้งแรกสำหรับการเขียนเรื่อง …)

เริ่มต้นกะอาชีพ Tester ด้วยคำว่า  “ไม่มีไรหรอก ก็แค่เล่นเกมหน่ะ.”

จะบอกว่าไม่เคยได้ยินมาก่อนเลยว่ามีอาชีพ นี่ด้วย เคยได้ยินแต่คำว่า QA ( ผู้ตรวจสอบคุณภาพ ) ผู้เขียนเริ่มต้นเป็น  Tester ด้วยการเป็น Game Tester ที่มีหน้าที่หลัก คือเล่นเกม ฟังดูเหมือนจะง่าย แต่จริงมันก็คือการเล่นเกมแหละ แต่เล่นไงให้เจอบักหล่ะ อันนี้สิน่าสน ( Tool หลักๆที่ใช้ในการทำงานจะเป็น Tool ที่สร้างจาก Engine ของบริษัทเองซ่ะส่วนใหญ่ )

ขอบอกก่อนว่าประสบการณ์ที่จะเล่านี่มันผ่านมาน่าจะเกือบ 3 ปีแล้ว อาจจะมีบางอย่างที่เค้าคงไม่ทำแล้ว หรือป่าวอันนี้ไม่แน่ใจนะ เพราะตอนที่เริ่มต้นการเป็น Game Tester เพื่อนที่ชวนเข้าไปทำเล่าให้ฟังว่า เจ้าของบริษัทเนี่ย เค้าไม่ค่อยสนใจทีม Test นะ เค้ามีทีมเนี่ยเพื่อให้เช้าบ้านรู้ว่ามีการ Test แต่เค้าจะสนเมื่อเกิดปัญหาไรเกิดขึ้นกะ Product เค้าจะให้ความสำคัญกับทีมทันทีโดยการเรียกไปถาม (ออกแนวจะด่าๆนะ)  ฮ่าฮ่า ประโยคแรกที่พี่แกจะถามคือ “เทสยังไง” แล้วก็โน้น นี่นั้น ….. นั้นแหละ  ก็ต้องไปนั่งเล่าๆ ว่ามีไรมั้ง เพราะพี่แก ไม่ดูเอกสาร อ่ะ เข้าเรื่องเลยละกัน Product หลักของบริษัทจะแบ่งออกเป็น

Read the rest of this entry »

Software Testing Webboard @forum.sanook.com

สวัสดียามเช้าของวันอังคารที่ 9 กันยายน 2551 วันนี้มีเหตุต้องเข้ามาที่ office แต่เช้าตรู่ เนื่องจากงานเข้า ระหว่างรอก็เลยถือโอกาส บอกเล่า ให้เหล่า Tester ไ้ด้รับทราบข่าวสารเกี่ยวกับเรื่องของ Webboard ที่เป็นผลต่อเนื่องมาจาก [Brainstorm] - We Love Bug ควรจะมี Forum เพื่อถามตอบหรือไม่?

ล่าสุดเราได้รับความอนุเคราะห์จากทางทีมงาน Sanook! Forum (http://forum.sanook.com) จัดสร้างห้องชื่อว่า Software Testing - ชุมชนคนล่าแมลง Software Tester

Software Testing ถูกจัดให้อยู่ภายใต้้หมวดใหญ่ของ Sanook! Forum ชื่อว่า ชุมชนสนุก!

URL สำหรับเข้าไปยังห้อง Software Testing คือ http://forum.sanook.com/forum/?board=399

Software Testing Board on Sanook! Forum

ชาวคณะ We Love Bug กำลัง นั่งมอง นอนมอง ดูว่าจะทำเช่นไรดีในการนำห้อง Software Testing มาอยู่เป็น Theme เดียวกับ We Love Bug โดยมีอยู่สองทางเลือก

1. เพิ่ม Link ของ Software Testing Webboard บนหน้าเว็บของ We Love Bug แล้วโยน Link ออกไปยัง Sanook! Forum
2. จัดทำหน้าเว็บขึ้นมาบน We Love Bug แล้วใช้เจาะช่องด้วย iframe เพื่อดึงหน้าของ Software Testing Webboard มาแสดงบนหน้า We Love Bug

ในเบื้องต้นก็เลยตัดสินใจใช้วิธีโยน Link ออกไปยัง Sanook! Forum ก่อน เพื่อให้ทางผู้สนใจสามารถใช้งานได้ทันทีครับ ส่วนความคืบหน้า หรือการเปลี่ยนแปลงใดๆ ทางชาวคณะ We Love Bug จะแจ้งให้ทราบในโอกาสต่อๆ ไปอีกครั้ง

ก็เลยถือโอกาสนี้บอกเล่าถึงการใช้งานเบื้องต้น รวมทั้งกฏกติกาเล็กๆ น้อยๆ สำหรับการใช้งาน Software Testing Webboard

Read the rest of this entry »

บอกเล่าเก้าสิบ - Tester ต้องทำอะไรบ้าง? ตอนที่ 1

สวัสดียามค่ำคืนวันอังคาร วันที่ชาวไทยได้พบกับ “ประกาศสถานการณ์ฉุกเฉินในเขตท้องที่กรุงเทพมหานคร” ออกแนวแอบลุ้นเมื่อเช้าว่าบริษัทจะสั่งหยุดงานหรือไม่ มาเข้าเรื่องกันเลยดีกว่านะครับ แอบออกนอกเรื่องไปนิดหน่อยแหละ

เปิดเรื่องด้วย “บอกเล่าเก้าสิบ - Tester ต้องทำอะไรบ้าง?” ก็ต้องขอบอกก่อนว่าที่เลือกเขียนเรื่องนี้ก็เนื่องจากหลายๆ สาเหตุ เช่น

• เวลาสัมภาษณ์คนเข้าทำงาน เค้าก็มักจะถามว่า Tester ที่นี่ทำอะไรบ้าง
• จำได้ว่าเจอใน pantip ว่าเคยมีผู้มาถามว่า Tester จะต้องทำอะไรบ้าง

รวมทั้งเรื่องเก่าที่เคยมาเขียนตอนที่ 1 ไว้ ก็คือ Software Testing Life Cycle ตอนที่ 1 แต่ถึง ณ ตอนนี้ก็ยังค้างคาอยู่เย สำหรับตอนที่ 2 เนื่องจากให้น้องในทีมทำ Process Improvement ของ Software Testing ใหม่ และจะให้เค้ามาเขียนในสิง่ที่เค้าคิดมา ก็ต่อยอดจากสิง่ที่ผมเริ่มไว้ละกัน (โยนงานแหละ 555)

กลับมาเรื่องนี้ละกัน บอกเล่าเก้าสิบ - Tester ต้องทำอะไรบ้าง? ขอเป็นว่าแบ่งปันจากประสบการณ์ทำงานที่ผ่านมาตลอด 3 ปีในงานของ Software Tester และเป็นงานทั้งหมดที่ Tester น้อยในบริษัทที่ผมทำงานอยู่จะต้องทำ เผื่อว่าจะเป็นประโยชน์ ไม่มาก ก็น้อย สำหรับหลายๆ ท่าน คิดเห็นประการใด ก็ฝากไว้ใน Comment ของเรื่องนี้ได้เช่นกัน

Read the rest of this entry »