WeLoveBug

Thai Software Testing Blog

By

ASTA International Software Testing Conference 2010 in Vietnam (ต่อจากเมื่อวาน)

ASTA International Software Testing Conference 2010 in Vietnam

ต่อจากเมื่อวานนะครับ งาน Conference นี้ host โดย ASTA ASIAN SOFTWARE TESTING ALLIANCE (ASTA)

ซึ่งมีสมาชิกเป็น Testing board จากประเทศ ญี่ปุ่น เกาหลี มาเลเซีย จีน และเวียตนาม

สมาชิกเหล่านี้จะผลัดกันจัด Conference มาแล้วถึง 11 ครั้งเริ่มต้นตั้งแต่ปี 2007

ตอนเค้าเปิด presentation มีรูปธงชาติของ ASTA member และ speaker เรียงกันผมล่ะอดสงสัยไม่ได้ว่าทำไมไม่มีธงชาติไทยอยู่ในนั้น และต้องทำยังไงถึงจะมีได้

บทบาทของ ASTA คือ

  • To collaborate among Asian member countries of the ISTQB to continuously develop, improve and support a single and regionally accepted software and system testing scheme, rules and regulations, policies and procedures that are aligned and complementary to ISTQB’s rules,scheme and standards.
  • To become the collective voice of the ASTA members at ISTQB meetings and share the issues and new developments unique or relevant to Asia, which can contribute positively to ISTQB’s international qualification scheme;
  • To collaborate with each of the ASTA members in organizing software and system testing conferences, webinars, symposiums, seminars, conventions and meetings for the purpose of imparting and sharing of any information and knowledge concerning any development in respect of software and system testing within and for the benefit of the Asian region.
  • To facilitate the creation of a connected Asian software and system testing community through the creation of ASTA community portal and programmes that promotes collaboration and knowledge sharing between software and system testing professionals throughout the Asian region.

สถานที่จัดงานของ conference ครั้งนี้คือที่มหาวิทยาลัย Hoasen ซึ่งอยู่ไม่ไกลจาก Airport ในโฮจิมินต์ เท่าที่กะๆดูงานครั้งนี้ไม่ใหญ่มาก น่าจะมีผู้ร่วมไม่เกิน 150 คน แต่เค้ามีการเตรียมงานที่ดี แบ่งการสัมมนาเป็น 3 ห้อง มีหัวข้อต่างกันมีห้องที่ใช้ภาษาอังกฤษ ห้องที่เป็น dual language และห้องที่ใช้ภาษาเวียตนามอย่างเดียว คนที่ไปเท่าที่เห็นครั้งนี้เป็นคนเวียตนามเกือบทั้งหมด ยกเว้นแค่ guest speakers เท่านั้น

ตารางหัวข้อครั้งนี้เค้ามี theme ว่า simple เพราะต้องการเริ่มต้นย้ำ basic อีกครั้ง ผมคิดว่าคนไม่เยอะเท่าที่คิดเพราะว่าหัวข้ออาจจะไม่ advanced เท่าไหร่ และเค้าคงเจาะคนในมหาลัยด้วย ตารางหัวข้อสัมมนาและ profile ของ speakerมีดังนี้

http://www.vietnamesetestingboard.org/zbxe/?mid=asta2010_schedule

http://www.vietnamesetestingboard.org/zbxe/?mid=asta2010_meet

งานนี้มี speaker จากหลายประเทศและ HP ก็เป็นหนึ่งใน keynote speaker ด้วย แถมยังมีคนที่ใหญ่เป็นอันดับสองในกระทรวง ICT ของ Vietnam มาร่วมเปิดงานและพูดถึงทิศทางกับประสบการณ์ของรัฐเกี่ยวกับการจัดซื้อและรับส่งมอบ software ด้วย ฟังแล้วก็อดคิดไม่ได้ว่า ทำไมงาน SPIN ของเมืองไทยไม่ค่อยเห็นคนจาก ICT มีส่วนร่วมในรูปแบบที่คล้ายกัน

เนื้อหาส่วนที่นี้เค้าพูดเป็นภาษาเวียตนามและมีล่ามแปลเป็นภาษาอังกฤษ แต่ไม่ทราบด้วยเหตุอันใด การแปลภาษาเป็นไปด้วยความยากลำบาก ผู้คนไม่เข้าใจ จนถึงขั้นว่า guest speaker ท่านนึงที่พูดได้สองภาษาได้ขอไมค์ไปช่วยแปลเอง

เท่าที่จับใจความได้คือรัฐบาลเวียตนามได้มีประสบการณ์ที่เลวร้ายกับการซื้อ software โดยเลือกจาก brochure และไม่มีความรู้ในการรับส่งมอบ Software ที่ดี เลยทำให้เสียเงินไปมหาศาลและ project fail ไปอย่างสิ้นเชิง หลังจากนั้น Vietnam ได้มีการจ้าง consultant เข้ามาเพื่อแก้ปัญหา และยังได้มี initiative ที่จะทำร่างเอกสารวิธีการตรวจสอบ testing software มาใช้ในระดับประเทศ รวมถึงการใช้ set matrix และ criteria ตั้งๆในการรับส่งมอบ software พวกเขาหวังเป็นอย่างยิ่งว่าผลลัพธ์จากการทำเช่นนี้จะทำให้ project successful และระยะการใช้งานของ software ใน production ยาวนานยิ่งขึ้น

หนึ่งใน consultant ที่รัฐบาลเวียตนามจ้างมาก็คือ Dr. Yongtae Jung ผู้มีประสบการณ์โชคโชน 13 ปีในการทำsoftware testing ใน 6 ประเทศ Dr. Jung เป็นผู้ก่อตั้ง VTB (Vietnamese Testing board) ซึ่งมีสมาชิกเกินแสนคนทั่วโลก นอกจากนี้เค้ายังเป็นอาจารย์สอน Software Testing ที่หลายๆมหาวิทยาลัยรวมถึง Haosen Universityด้วย

ส่วนนึงที่ผมไปงานนี้ก็ยอมรับว่าอยากไปเจอตัวจริงเสียงจริงของ Dr. Jung นี่แหละ

ลองมาอ่านต่อกันดูครับ …

ผมตัดสินใจเข้าห้องภาษาอังกฤษล้วนเพราะคิดว่าน่าจะได้เนื้อหามากว่าเนื่องจากไม่ต้องรอเสียเวลาจากการแปล session อ้อลืมบอกไป ตอนต้นมี keynote speaker จาก HP ในหัวข้อ Mastering Application Life Cycle

มาเล่าถึงความเปลี่ยนแปลงของ business model ที่ส่งผลต่อ people, process และ technology ซึ่งทำให้การ manage application lifecycle โดย project manager มี challenge มากขึ้นและเค้าย้ำว่า project IT fail 50% และส่วนใหญ่คือเราพยายามใช้วิธีเก่าๆ ในโลกที่เปลี่ยนไปแล้ว และเค้ายังพูดถึงด้วยว่าผลจากความสำรวจสิ่งที่ business ต้องการจาก IT มากที่สุดไล่จากมากไปน้อยคือ Agility (ทำได้เร็วและตอบสนองความเปลี่ยนแปลงได้เร็ว), Innovation, Lower Cost, better customer experience

ผมคิดว่าเนื้อหาที่เค้าพูดมีประเด็นที่จริงและน่าสนใจ ผมมี presentation file ส่วนนี้อยู่ (ขนาด 6 mb) ถ้าใครสนใจ leave comment เป็น email ไว้ได้ครับ ผมจะส่ง email ไปให้ เราจะได้ถือโอกาสทำความรู้จักกันด้วยครับ

Highlight ของงานนี้ที่ผมประทับใจและตื่นเต้นที่ได้ฟังคือ session ของ Dr. Jung เกี่ยวกับ Defect Target Metrics & Exit criteria metrics

เค้าเปิดประเด็นด้วยการถามว่า what is quality? และแต่ละคนว่าถ้าคะแนนเต็ม 10 คุณให้ rating quality ของ windows แต่ละ version เท่าไหร่ แต่ละคนให้คำตอบต่างๆกัน

เค้าบอกว่าในเมื่อคำตอบมันต่างกัน แล้วเราในฐานะมืออาชีพในสาขานี้จะสื่อสารกับลูกค้าได้ยังไง ว่าจะ test project นี้ใช้เวลากี่วัน ราคาเท่าไหร่ ได้ quality ระดับไหน และที่สำคัญที่สุดจะทำเงิน(หรือ save เงิน) ให้กับลูกค้าผ่านการ testing ให้เค้าได้เท่าไหร่

จากนั้นเค้าพูดถึง definition ของ quality และ matrix ที่เกี่ยวข้องกับ quality ใน IEEE 1061 : Standard for Software Quality Matrics.

ฟังแรกๆเหมือนมันค่อนข้างเวอร์ แต่เค้าบอกว่าหากมีลูกค้าเดินมาถามว่า ถ้าจะ test มือถืออันนี้ใช้เวลาเท่าไหร่ ราคาเท่าไหร่ และจะส่งอะไรให้เค้าเป็นผลลัพธ์ได้บ้าง หาbug ได้กี่ตัว high กี่ตัว low กี่ตัวและประเมินเป็นเงินเท่าไหร่ หากคุณตอบลูกค้าไม่ได้ว่า cost of testing ที่เค้าต้องจ่ายเรา < cost of poor quality  ถ้าเราไม่สามารถตอบเค้าได้อย่าง “precise” แล้วจะได้ลูกค้ามาได้อย่างไร? …  เออ ฟังแล้วมันก็จริงอย่างที่เค้าว่าแฮะ

เค้าบอกว่าสำคัญที่เราจะต้องถามตัวเองว่า “What is your goal of testing?” Is it quality level = 10?  Or 7?

เค้ายังพูดถึงด้วยว่าสำหรับ Microsoft ตอนออก Windows 7 เค้าก็มีการตั้งเป้าว่าอยากให้มี quality เท่าไหร่ แล้วก็ยังมีการทำ survey ด้วยว่าลูกค้าในแต่ละ region จะซื้อ Windows ก็ต่อเมื่อ quality อยู่ที่ level เท่าไหร่เป็นอย่างน้อย

ตัวอย่างที่เค้าพูดถึงอันหนึ่ง ก็คือการทำ defect target matrix หรือ quality matrix ว่าถ้าต้องการ quality ระดับ 9 ต้องใช้เงินเท่านั้น เวลาเท่านี้ ถ้าระดับ 8 ราคาเท่าไหร่ แล้วเค้าก็ show IEEE หรือ ISO อีกอันนึงที่มี breakdown ว่า quality แบ่งเป็นกี่แขนงเป็นอะไรบ้าง เช่น functionality, efficiency, fault tolerant, etc. แล้วค่อยหาคำตอบให้ได้ว่า “What is your goal of testing?”

แค่ไม่กี่นาทีหลังจากเค้าเริ่มพูด ผมรู้สึกได้ว่าตัวเค้าเปี่ยมไปด้วยพลัง และ passion + ความเคารพในสายอาชีพ testing เค้าเป็นจริงเป็นจังการอาชีพนี้มากและพยายามแบ่งปันไฟที่ดีเหล่านี้ให้กับคนอื่นๆอยู่เสมอ ผมล่ะอยากเชิญเค้ามาเมืองไทยมั่งจัง

เค้าพูดด้วยหน้าตาเป็นจริงเป็นจังว่า ในโลกปัจจุบัน เค้าไม่เรียกการที่มี list ของ test case ที่เป็นตารางแล้วบอกผลว่า test แต่ละครั้ง pass หรือ fail ว่า testing คือเค้าบอกว่ามันก็ยังมีประโยชน์อยู่แต่มันน้อยกว่า 10% ของงาน testing จริงๆ เค้าบอกว่า ถ้า test case นึง run 10 ครั้ง fail ครั้งนึง มันมีความหมายว่าอะไร 100 ครั้ง fail ครั้งนึง หมายความว่าอะไร การที่เราส่ง report แบบนั้นให้ลูกค้า มันไม่ได้มีความหมายอะไรให้กับลูกค้าเลย เค้าบอกว่า testing ส่วนนึงในเวียตนามยังเป็นอย่างนั้น และเค้าบอกว่า “I’m sorry to tell you, that’s not real testing and NOT even close to real testing! I am serious!”

หลายๆบริษัทไม่มี metrics เลย และหลายๆบริษัทก็ metrics ไว้บูชา คือมีไว้อย่างนั้น  แต่ไม่ได้เอาข้อมูลใน metrics มาแปลความหมายหรือเอามาใช้จริง เค้าบอกว่า metrics ต้องเอามาใช้ เค้าถามว่าเราจะหยุด test เมื่อไหร่ เมื่อเวลาหมด? เมื่อ test case run หมดแล้ว ? เค้าบอกว่าคำตอบคือเมื่อ exit criteria มัน met แล้ว exit criteria มันเกี่ยวกับ metrics ยังไงล่ะ เค้าให้ข้อมูลที่น่าสนใจเป็นอย่างยิ่ง

System Integration Testing Period

                100% of the numbers of expected defects found during System Integration Testing Period. The number shall be based on Test Case Factor.

   (สรุปง่ายๆคือ เรา estimate ไว้ก่อนว่าจะเจอ bug กี่ตัว high กี่ตัว low กี่ตัว และ 1 ใน exit criteria ก็คือดูว่าเราเจอครบแล้วรึยัง)

Business Acceptance Testing Periods

                15% of the numbers of defects found in System Integration Testing Period.

Production Roll out Testing Period

                3% of the number of defects found in Integration Testing Period, with an assumption of Roll out testing Period as 2 weeks.

* Based on Risk, Function points Analysis, Previous project

จากนั้นเค้าก็พูดถึงเนื้อหาอีกมากมาย แต่ผมคงจะขอเล่าถึงส่วนที่เฉือนใจผมมากที่สุด เค้าพูดว่า

“Testing is Money and as tester you need to put number on everything as much as you can”

การทำ testing สุดท้ายแล้วก็คือเรื่องของเงิน (ถ้าทำแล้วทำเงินไม่ได้ save เงินไม่ได้จะทำไปทำไม) เค้าพูดถึงว่าหากคุณ prove ไม่ได้ว่า testing ที่คุณทำสามารถ save เงินให้กับองค์กรณ์คุณหรือลูกค้าของคุณเกินที่เค้าจ่ายเงินเดือนให้คุณไม่ได้ คุณก็ไม่ควรทำงานนั้นต่อไป ฟังแล้วเฉือนใจจริง แต่ถ้ามองในมุมมองลูกค้ามันก็จริง ลูกค้าเค้าไม่สนใจหรอกว่า you work at your best, คุณทำงานหนักแค่ไหน ดึกแค่ไหน ทำงานวันเสาร์อาทิตย์ ทำทั้งคืนไม่ได้นอน เค้าไม่สน เค้าสนแค่ว่าเค้าได้คุ้มในสิ่งที่เค้าจ่ายรึเปล่า (สิ่งที่เค้าไม่ได้พูด แต่มันแว่บขึ้นมาในหัวผมเองคือ ถ้าลูกค้าไม่สนใจเรื่องเหล่านี้ แล้วทำไมบริษัทเราจะต้องสนใจ บริษัทควรจะสนใจในเรื่องที่ลูกค้าสนใจเท่านั้นไม่ใช่เหรอ เพราะลูกค้าเป็นคนจ่ายเงิน ผมคิดด้วยวิธีที่คล้ายๆกัน คิดแล้วก็รู้สึกอึ้งจริงๆ สุดท้ายทุกอย่างมันก็คือธุรกิจ ซึ่งธุรกิจจะอยู่ได้ก็ต้องทำกำไร)

ใน session บ่ายก็มีการเอาข้อสอบ JSTQB (ของญี่ปุ่นมาแปลเป็นอังกฤษ) มาให้ลองทำกันและก็มีการเฉลย อันนี้ผมขอไม่พูดถึงมาก เพราะไม่ได้มีอะไรน่าสนใจเป็นพิเศษ เพราะตัวผมเองก็ผ่าน ISTQB มาแล้ว และคิดว่าคนที่อ่าน welovebug ของเราส่วนใหญ่ก็ผ่านมาแล้วเช่นกัน แต่ประเด็นที่น่าสนใจคือ

-          Testing board ในแต่ละประเทศเป็นช่วยกันออกข้อสอบ certification ในภาษาของตัวเองเพื่อช่วยทำให้ภาษาไม่ได้เป็นอุปสรรคหลักในการได้ certification

-          ใน session ของ Dr. Jung เค้ามีการถามว่ามีใครสอบผ่าน ISTQB แล้วบ้าง ในห้องตอนนั้นมีอยู่สามสิบกว่าคนได้ มีผมยกมือคนเดียว เค้าเลยกระตุ้นคนในห้อง บอกว่าในโลกนี้มีคนได้ ISTQB 150,000 คน และคนเวียตนามต้องแข่งกับคนเหล่านั้น ในห้องนี้มีแค่คนเดียว ผมเลยต้องบอกเค้าว่า “In fact, I’m from Thailand” … และประโยคนั้นทำให้ผมได้ความสนใจจาก Dr. Jung และทำให้ผมได้มีโอกาสที่มีค่ามหาศาลที่ผมดีใจและรู้สึกเป็นเกียรติอย่างยิ่งที่ได้รับจาก trip นี้

พรุ่งนี้ผมจะกลับมาเล่าให้ฟังกับ highlight ที่ผมมองว่ามีค่าที่สุดสำหรับ trip นี้ ผมขอตั้งชื่อตอนหน้าว่า

“The wakeup call for Thailand, the unspoken that must be spoken”

ขอบอกได้สองคำครับว่า ถ้าคุณชอบเนื้อหาที่ผมเล่ามาสองวันนี้จริง

“อย่าพลาด” เพราะว่าผมบอกได้เลยว่ามันน่าสนใจกว่าเนื้อหาในสองวันนี้มาก !

15 Responses to ASTA International Software Testing Conference 2010 in Vietnam (ต่อจากเมื่อวาน)

  1. darktempa says:


    darktempa:

    ขอ Presentation File ครับ กำลังเรียนเรื่อง VV model และกำลังอ่านบทความนี้เลย ชอบครับ และ จะนำไปฝากอาจารย์ผู้สอนด้วยครับ ขอบคุณครับ

    komen_mai@hotmail.com

  2. darktempa says:

    ขอ Presentation File ครับ กำลังเรียนเรื่อง VV model และกำลังอ่านบทความนี้เลย ชอบครับ และ จะนำไปฝากอาจารย์ผู้สอนด้วยครับ ขอบคุณครับ

  3. Toey says:

    พีี่เอกลักษณ์

    สนใจ Power Point ด้วยเช่นกันค่า ขอบคุณมากนะคะ

    • ekaluck ekaluck says:

      ส่งให้แล้วนะครับเต้ย คือ file มันค่อนข้างใหญ่ผมเลยส่งให้ทุกอันไม่ได้ เลยส่งเฉพาะอันที่ผมชอบที่สุด ถ้าสนใจ file อื่น ใน VTB ก็มีให้ load ได้ครับ

  4. AVIX AVIX says:

    ขอ presentation file ด้วยคนครับ

    taweewat_t@windowslive.com

    ขอบคุณครับ : )

  5. leeyongson leeyongson says:

    มาแล้วววว ตามนัด
    ตื่นตาตื่นใจมาก
    อยากให้ผู้บริหารสูงๆ บ้านเราได้อ่านจัง

  6. MooHero says:

    สนใจ Presentation File ครับพี่

    napadol.napalai@gmail.com

    ติดตามอ่านอยู่นะครับเนื้อหาดีมากครับ

    ขอบคุณครับ

  7. ekaluck ekaluck says:

    ดีใจที่มีคนสนใจและติดตามครับ พบกับตอนหน้า ดึกๆ คืนนี้ครับ

  8. RockerRat says:

    ติดตามตอนต่อไป

  9. Nay says:

    ขอบคุณสำหรับเรื่องราวดีๆครับ ตั้งหน้าตั้งตารอตอนต่อไปครับ

Leave a Reply

Your email address will not be published. Required fields are marked *


*

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>