Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1225-8857(Print)
ISSN : 2288-9493(Online)
Journal of Korean Society of Rural Planning Vol.23 No.4 pp.49-59
DOI : https://doi.org/10.7851/Ksrp.2017.23.4.049

Development of Evaluation Indicators for Web-based Agricultural Water Information System using Mandal-Art Method

Solhee Kim, Chanwoo Kim*, Chanhoon Jung*, Jinseon Park**, Jeongdae Kim***, Kyo Suh****
Institute of Green Bio Science & Technology, Seoul National University
*Graduate School of International Agricultural Technology, Seoul National University
**Department of Agricultural and Rural Engineering, Chungbuk National University
***Rural Research Institute, Korea Rural Community Corporation
****Graduate School of International Agricultural Technology, Seoul National University, Institute of Green Bio Science & Technology, Seoul National University

Corresponding author : Suh, Kyo 033-339-5810Kyosuh@Snu.Ac.Kr
20170806 20170917 20171110

Abstract

The importance of information system evaluation has increased according to ICT development and this evaluation is required for objective verification. The aim of this study is to develop evaluation indicators for web-based information system and verify the availability of these evaluation indicators through applying to agricultural water integrated information system. This study finds and provides eight evaluation items and 64 indicators for a web-based information system using 3×3 Mandal-Art matrix that is a tool for creating creative ideas. These evaluation items are design, contents, navigation, stability, community, convenience, usefulness, and accuracy. Total 64 evaluation indicators were presented by deriving eight evaluation items for each using 9×9 Mandal-Art matrix. When evaluating information system using evaluation indicators, it can be identified the vulnerable items in the information system. Also, the comprehensive results of the information system could be understood when appearing a single score after weighting. In addition, it can also help to prepare a questionnaire for evaluation systematically.


만다라트(Mandal-Art) 기법을 이용한 웹기반 농업용수 정보시스템 평가지표 개발

김 솔희, 김 찬우*, 정 찬훈*, 박 진선**, 김 정대***, 서 교****
서울대학교 그린바이오과학기술연구원
*서울대학교 국제농업기술대학원
**충북대학교 지역건설공학과
***한국농어촌공사 농어촌연구원
****서울대학교 국제농업기술대학원, 서울대학교 그린바이오과학기술연구원

초록


    I.서 론

    정보통신기술(ICT)의 발달과 함께 3차 산업혁명을 넘 어 4차 산업혁명 시대의 대량정보를 서비스하기 위한 정 보화가 이루어지고 있으며, 다양한 분야에서 전문 정보 를 제공하는 서비스에 대한 요구가 증가하면서 해당 분 야에 대한 전문성 있는 정보시스템이 구축되어 운영되고 있다(Kim, 2004; Park and Choi, 2002). 또한 정보시스템 의 효율적인 운영과 더불어 정보의 질을 향상시키고자 제공하는 정보의 성격이 유사한 여러 종류의 정보시스템 들을 통합하여 방대한 양의 전문 정보를 하나의 정보시 스템으로 운영하여 제공하고자 하는 노력이 있어왔다 (Hong and Noh, 2008; Jung, 2010).

    농업분야의 경우 농업과 관련한 정보를 제공하는 다 수의 정보시스템은 공무원, 전문가, 그리고 농민 등을 대 상으로 관련 정보를 제공하고자 개발되어 운영되고 있 다. 한국농어촌공사(Korea Rural Community Corporation) 는 기존에 개발된 다양한 농업용수 관련 시스템(RIMS, RAWRIS, TM/TC, UIRRI, 그리고 Groundwater Net)과 기 상청의 기상 정보, 국토교통부의 브이월드 등과 같은 다 양한 정보시스템을 연계하여 보다 효율적인 통합 정보시 스템을 개발하려는 노력이 있어왔다(Kim et al., 2016). 통 합 정보시스템의 경우 농촌지역에서 발생하는 다양한 문 제들에 대한 방대한 정보를 수집하여 ICT 기반의 농업용 수 관련정보를 보다 효과적으로 이용 및 제공하기 위해 개발되고 있다. 농업용수 정보시스템을 개발하고 효율적 으로 관리하기 위하여 기존의 시스템 및 개발된 농업용 수 정보시스템의 현 상황에 대한 문제점을 파악하고 그 에 따른 개선사항을 도출하고자 하는 노력이 필요하다. 하지만 정보시스템에서 제공하는 전문 정보의 목적에 맞 는 평가 지표를 이용하여 기존의 시스템과 새롭게 개발 된 농업용수 정보시스템의 평가에 한계가 존재한다.

    이러한 전문정보제공이나 통합정보시스템에 대하여 개발단계 혹은 완성된 시스템의 서비스와 제공되는 정보 만족도에 대하여 객관적인 검증을 위해 평가 필요성이 높아지는 실정이다(Park and Kang, 2005). 일반적인 웹 시스템은 기 구축된 범용적인 평가 지표에 따라 웹 접근 성, 웹 디자인, 웹 구동성 등을 평가할 수 있으나, 전문 정보를 제공하는 정보시스템은 정보의 제공자와 해당 정 보를 이용하는 사용자의 성격에 따라 정보시스템의 특성 을 반영할 수 있는 정량화된 평가 항목 및 기준으로 평 가해야 한다(Park and Choi, 2002). 객관적인 평가 지표를 통해 정보시스템의 활용도를 평가하여 개선 분야를 식별 하고 보완 할 수 있으며, 정보시스템의 지속적인 활용을 저해시키는 요소에 대한 파악이 가능하다(Kim et al., 2002; Kim et al., 2013). 이에 정보시스템 평가를 위한 평가지표 개발과 관련하여 다양한 분야에서 연구가 이루 어졌으나(Jung and Kim, 2003; Eom and Youn, 2007; Moon and Moon, 2009; Kim et al., 2013), 전문 정보를 제공하는 정보시스템의 성격에 따라 정량화된 평가 기준 마련이 필요하다.

    전문 정보시스템은 특화된 목표에 부합하도록 시스템 이 설계되므로 이러한 시스템의 평가를 위해서는 전문정 보 특성에 맞는 새로운 평가지표가 요구된다. 이러한 평 가지표 개발을 위해서는 전문정보를 기반으로 한 창의적 인 평가항목 도출이 필요하다. 이러한 창의적인 아이디 어 도출을 위해 지식경영분야 등에서는 브레인스토밍 (Brainstorming), 만다라트(Mandal-Art) 기법, 트리즈(TRIZ) 기법과 같은 창의적 사고 도구를 활용한다(Jo et al., 2005). 이러한 창의적인 사고 도구 가운데 만다라트 (Mandal-Art)기법은 그룹 내에서 특정 주제에 대하여 사 고를 확장하고 아이디어를 생성하여 구체화 하는데 유용 하다.

    따라서 본 연구에서는 새로운 아이디어의 창의적인 개발 방법인 만다라트(Mandal-Art) 기법을 이용하여 새로 운 전문정보를 제공하는 웹기반 정보시스템을 평가하기 위한 지표를 도출하고자 한다. 또한 도출된 전문정보에 대한 평가지표와 일반적인 시스템 평가항목을 종합하여 평가를 위한 설문을 구성하였다. 이렇게 구성된 평가지 표를 농업용수 정보시스템을 대상으로 전문가와 일반인 집단을 나누어 설문을 시행하고 평가 결과를 개발자와 시스템 운영자가 제시한 시스템 요구사항과 개발목표를 중심으로 타당성을 검토하였다.

    II.연구자료 및 방법

    1.만다라트(Mandal-Art) 기법

    만다라트(Mandal-Art) 기법은 일본의 디자이너 이마이 즈미 히로아키가 1987년에 창안한 발상기법으로써, 특정 주제에 대해 체계성을 가지고 목표를 계획하거나 아이디 어를 구체화 시킬 때 유용한 사고확장 방법이다(Tseng et al, 2008; Ryu and Han, 2016). 본질을 뜻하는 'Manda'와 소유를 뜻하는 'la'가 결합한 Manda+la는 '목적을 달성한 다'는 의미이며, Mandal+art는 '목적을 달성하는 기술 혹 은 그 틀'을 말한다.

    만다라트 기법은 3×3 매트릭스의 중앙에 핵심 주제어 를 놓고, 주제어와 관련된 아이디어들을 주제어 주변에 자유롭게 연상하여 기술한다. 이는 Figure 1과 같이 4단 계로 수행되는데 먼저 가로 세로 9칸씩 총 81칸의 사각 형을 그린 후(Figure 1(a)), 맨 가운데 사각형에 핵심 목 표 혹은 핵심 아이디어를 작성하고, 이를 둘러싼 8개의 사각형에 해당 목표 혹은 아이디어를 현실화 할 세부 항 목을 설정한다(Figure 1(b)). 이 때 핵심 목표 혹은 아이 디어는 이루고자 하는 최종 목표, 해결하고 싶은 문제, 평가하고자 하는 대상, 기획 대상 등 다양하게 활용된다. 그 다음 Figure 1(b)에서 도출한 세부목표를 다시 하나의 목표로 확장한 후(Figure 1(c)), 이를 현실화 할 실행방안 을 설정하여 9×9의 매트릭스를 완성한다(Figure 1(d)).

    만다라트 기법은 창의적인 사고 도구로써 기본적으로 3×3 표의 형태로 형식이 간단하여 쉽게 사용할 수 있다. 8개의 빈 칸을 모두 채워야 한다는 강제력을 부여된다는 단점이 있으나, 이 강제력은 적당한 수준의 긴장감으로 작용하여 아이디어를 촉진시키는 역할을 한다(Jo et al.(2005). 이와 더불어 핵심 주제어를 중심으로 나선형 혹은 방사형으로 이루어진 구조는 머릿속에서 사고하는 구조와 유사하기 때문에 사고 작용을 도울 수 있으며, 여러 아이디어를 한눈에 볼 수 있으므로 아이디어를 조 합하는데 매우 유리하게 작용한다. 아이디어를 적고 잠 시 생각하며 수정 혹은 새로운 아이디어를 도출할 수 있 는 아이디어의 부화(Incubation)를 도움으로써 연속적인 연상과정을 통해 아이디어의 발산 과정을 돕고 아이디어 들을 한 눈에 알아보도록 정리할 수 있다. 이를 통해 다 량의 아이디어 창출 및 속도 향상을 이끌어 내고, 아이 디어를 조직적으로 정리하고 아이디어 간의 효율적인 조 합을 꾀할 수 있다(Yang, 2004).

    이러한 만다라트 기법의 아이디어 연상 특징을 이용 하여 Adachi et al.(2013)은 사용자가 검색하고자 하는 하 나의 단어에 대하여 웹검색 공급자가 자주 사용하는 여 러 개의 연관 단어를 검색하고 검색 제안 기능을 쉽게 활용할 수 있는 시스템을 개발한 바 있다.

    2.기존 웹기반 정보시스템의 평가 방법

    웹기반 정보시스템의 기존 평가방법을 고찰하여 만다 라트 기법을 통해 평가지표를 구체화하였다. 한국정보화 진흥원은 ‘정보시스템 운영 성과측정 매뉴얼’을 발표하 여 정보시스템의 운영에 대한 성과측정 및 정보자원의 처리 방안, 운영 성과관리 및 활용 등에 대한 매뉴얼을 제시하였다(National Information Society Agency, 2016). 해당 매뉴얼은 정보시스템 운영 성과관리지침(행정자 치부 고시 제2015-44호, 2015.12.14.)에 따라 정보시스 템의 운영 성과를 측정하기 위하여 구체적인 기준과 절 차, 방법 등을 상세하게 제시하여 정보시스템을 운영하 는 담당자가 보다 쉽고 정확한 성과측정 활동을 수행하 고 정보시스템 운영 성과관리 제반 사항에 대한 이해 증 진을 목적으로 한다. 현행 정보시스템의 분석 항목은 크 게 어플리케이션, 하드웨어 및 상용 소프트웨어, 데이터 베이스에 대하여 분석대상, 분석관점, 그리고 분석항목 (예시)을 제시하고 있다. 또한 클라우드컴퓨팅 활용 대상 의 경우 판단항목과 판단기준(안)을 제시하고 있다.

    Eom and Youn(2007)은 보건소정보시스템을 BSC 관점 에서 평가하기 위한 평가도구의 개발 및 적용을 위하여 IS-BSC 모형을 보건소정보시스템 평가에 적용하여 단기 적인 목표달성 평가와 더불어 장기적인 부가가치 창출에 대한 정보시스템의 기여도를 평가하고자 성과평가와 관 련된 문항을 제시하였다. 여기서 BSC는 조직의 성과를 재무적 측정수단 뿐만 아니라 다양한 관점에서 평가하는 Kaplan과 Norton의 균형성과표(Balanced Scorecard, BSC)(Kaplan & Norton, 1992)를 의미하며, 균형성과표의 활용범위가 확대되면서 Martinsons 등은 정보시스템의 성과측정을 위해 균형성과표를 수정하여 사용자 지향 관 점, 비즈니스 가치 관점, 내부 프로세스 관점, 그리고 미 래 대비 관점의 4가지 관점을 정보시스템의 균형성과표 (Information Systems-Balanced Scorecard, IS-BSC)로 제안 하였다(Martinsons et al., 1999). 정보시스템 균형성과표는 기존의 정보시스템 평가모델인 DeLone과 McLean의 정 보시스템 평가모형(IS Success Model)의 사용자 측면, 시 스템 측면, 정보측면, 개인 및 조직의 성과 측면을 모두 포괄하면서 정보시스템을 통한 조직의 현재와 미래의 가 치를 평가할 수 있다(DeLone & McLean, 1992). 이를 이 용하여 보건소와 같은 공공기관의 특성상 비영리적 목표 를 추구하는 기관의 정보시스템에 대한 성과를 측정하기 위하여 기존의 IS-BSC의 관점을 공공부문 정보시스템의 사용자 시각으로 보완하여 공공적 특성에 합당한 평가모 형으로 개발하였다. IS-BSC의 관점을 고려하여 공공기관 의 특성을 반영한 공공부문 정보시스템의 균형성과표를 기반으로 하여 사용자 지향, 비즈니스 가치, 내부 프로세 스, 그리고 미래 대비의 측정 지표와 관련한 성과평가 문항을 제시하였다.

    Jung and Kim(2003)은 정보시스템의 평가지표 개발에 관한 실증적 연구를 통해 공공부문의 정보시스템에 대한 평가영역 및 평가지표에 대한 개념과 기준타당도를 검증 한 후 평가 항목별 평가지표를 제시하였다. 정보시스템 의 평가연구에 관한 이론적 고찰과 더불어 국내‧외 공공 부문 정보시스템 평가 실시현황 조사를 통해 정보시스템 의 주요 평가영역을 시스템영역, 사용자영역, 조직 및 경 영성과 영역, 전략적 기여도 영역, 자원관리 적정도 영역 의 5개의 영역으로 범주화하고 각 평가영역별 평가항목 의 개발을 통해 공공부문 정보시스템의 통합적 평가모형 을 구축하였다. 정보시스템 평가항목은 기준타당도 분석 과 개념타당도 분석을 통해 5개의 평가영역, 10개의 평 가항목, 그리고 57개의 평가지표를 제시하였다.

    3.설문을 통한 평가지표의 적용가능성 검토

    전문적인 정보를 제공하는 다양한 정보시스템 가운데 농촌용수 정보와 관련된 ‘지능형 농촌용수 정보서비스’ 를 대상으로 맞춤형 평가지표를 설정하고 이를 설문을 통해 평가 지표의 적용 가능성을 살펴보고자 하였다. 설 문은 표준화된 설문지를 이용하여 동일한 방식으로 동일 한 내용을 질의함에 따라 측정 도구의 변화로 인한 오류 를 최소화 할 수 있으며, 단기간에 핵심적인 정보만을 선별할 수 있고 비교적 객관적이고 정확한 정보를 입수 할 수 있다는 장점을 지니고 있다(Jo et al, 2005).

    지능형 농촌용수 정보서비스는 한국농어촌공사에서 관리하는 저수지와 시군에서 관리하는 저수지의 물관리 관련 정보를 통합하고 기상, 토양, 수문 등의 관련 자료 와 연계하여 물관리를 위한 합리적이고 지능적인 분석을 제공하는 정보서비스이다(Kim et al., 2017). 해당 정보서 비스는 농촌용수의 수요와 공급과 관련한 시설과 실시간 으로 계측되는 수자원 정보를 이용하여 적절한 공급량을 결정하는 등의 농촌수자원을 효율적으로 사용하는데 목 적이 있다. 지능형 농촌용수 정보서비스는 농어촌공사에 서 부처의 업무에 따라 구축되어 사용되고 있는 농업기 반관리시스템(Rural Infrastructure Management System, RIMS), 농촌용수종합정보시스템(Rural Agricultural Water Resource information system, RAWRIS), 농업용수관리자동 화(Tele-Metering/Tele-Control, TM/TC), 농어촌지하수넷 (Groundwater Net), 농촌용수관측관리시스템(UIRRI)을 통 합하여 운영되고 있다(Kim and Kang, 2016).

    정보서비스의 평가를 위한 설문은 구글독스(Google Docs)의 Google 설문지 기능을 이용하여 온라인 설문지 를 구성하였다. GoogleTM에서 제공하고 있는 Google 설 문지는 선다형, 드롭다운, 막대형 척도 등 다양한 질문 옵션을 이용하여 설문을 구성할 수 있으며, 이메일, 링크 첨부, 소셜 미디어에 설문지 공유 등 온라인으로 설문지 를 배포하여 실시간으로 답변을 받을 수 있다. 또한 설 문조사에 대한 응답정보는 실시간으로 자동 저장되어 받 아볼 수 있으며, 응답 결과에 대해서 간단하게 파이차트 등으로 분석되어 결과를 제시한다. 또한 스프레드시트에 서 모든 정보를 확인하기 때문에 데이터의 활용도가 높 다.

    지능형 농촌용수 정보서비스에서 기 구축된 기능에 대한 설문 문항은 리커트식 5점 척도(5-point Likert scales)를 사용하여 평가 문항을 구성하고 응답을 점수화 하였다. 태도측정법 중 하나인 리커트 척도(Likert scale) 는 평가하고자 하는 개인, 대상, 관념, 현상 등에 대해 개인의 추상적 혹은 주관적 개념을 측정하기 위한 기법 이다. 조사항목에 대한 동의 여부가 아닌 각각의 항목에 대한 동의 정도를 표현하여 해당 항목에 대한 측정치를 합산함으로써 평가대상자의 태도 점수를 알아보며, 척도 구성을 ‘매우 그렇지 않다’부터 ‘매우 그렇다’까지 3점, 5점, 7점 등으로 구성한다. 반면에 구축되어 있지 않는 기능에 대해서는 다중선택 및 의견 수렴 등의 기능을 통 해 해당 기능의 필요 여부와 이유 에 대하여 의견을 개 진하도록 설문을 구성하였다.

    작성된 설문지는 2017년 6월 22일에 농업과 관련한 경력이 10년 이상인 전문가에게 사전 테스트(Pre-test)를 시행하여 설문을 수정‧보완 후 2017년 6월 24일부터 11 일간(2017년 6월 24일~7월 4일) 농업용수와 관련한 경력 이 10년 이상인 전문가 5명에게 본 테스트를 시행하였 다. 또한 동일기간에 30명의 일반인을 대상으로 설문을 시행하였다.

    III.연구결과 및 고찰

    1.만다라트 기법을 이용한 평가 항목 및 지표 개발

    평가하고자 하는 정보시스템의 제공하는 정보의 목적 에 초점을 맞추어 정보시스템의 평가 항목 및 지표를 도 출하고자 기존의 정보시스템 평가 방법에 대한 고찰을 기반으로 그룹내 토의를 통해 만다라트 기법을 적용하여 평가지표를 도출하였다. 저자를 포함한 6명의 관련 연구 원이 기존의 정보시스템 평가 방법에 대한 기본적인 자 료조사 및 공유를 마친 뒤, 그룹 토론을 통해 3×3 만다 라트 표를 작성하였다. 정보시스템의 핵심 평가 항목으 로 정보시스템의 기본적인 구성인 디자인(Design), 컨텐 츠(Contents), 네비게이션(Navigation), 안정성(Stability), 커 뮤니티(Community), 편의성(Convenience)을 포함하여 정보 시스템에서 제공하는 정보의 유용성(Usefulness), 정확성 (Accuracy)을 8가지의 평가 항목으로 목록화하였다.

    정보시스템을 평가하기 위해 목록화 한 8가지의 평가 항목에 대하여 각각 3×3 만다라트 표로 작성한 후 사고 확장을 통하여 평가 지표를 각 항목별로 8개씩 구체화 하여 총 64개의 평가 지표를 도출하였으며, 각 지표에 대한 설명은 다음과 같다(Figure 2).

    ‘디자인(Design)’ 평가 항목은 정보시스템의 전반적인 이미지를 평가하는 항목으로서 정보시스템을 구성하고 있는 글자(Text, 글자의 크기, 글자체 등), 컨셉(Concept, 색상, 채도, 명도 등), 정보시스템의 전체적인 디자인의 일관성(Consistency), 적절한 아이콘의 사용 여부(Icon), 시스템 내의 체계적인 레이아웃 구성(Layout), 디자인의 심미성(Aesthetics), 첫 화면에서 가장 먼저 가독 할 수 있는 디자인 포인트를 지니고 있는지의 몰입성 (Immersion), 시스템이 추구하고자 하는 목적을 메타포를 사용하여 은유적으로 잘 드러나는가의 은유성(Metaphor) 으로 설정하였다.

    ‘컨텐츠(Contents)’ 평가 항목은 정보시스템에서 제공 하고 있는 정보의 구성을 평가하는 항목으로서 정보의 설명(Information explain), 정보 전달(Information delivery), 정보의 관리(Information management), 정보 제공의 지속 성(Continuity), 정보 구성(Composition), 제공하는 정보의 전문성(Professionalism)과 더불어 사용자를 고려한 타 사 이트와의 차별성(Discrimination)과 사용자를 고려한 컨텐 츠 구성여부(Considering user)로 설정하였다.

    ‘네비게이션(Navigation)’ 평가 항목은 정보시스템에서 사용자가 해당 시스템을 사용할 때 현재 위치를 알려주 는 기능을 평가하는 항목으로서 위치 확인의 단서 혹은 정보를 제공하는지 여부(Status of location confirmation), 웹 서핑시 길 잃는 경우가 존재하는지의 여부(Getting lost during web surfing), 적절한 링크로의 연결(Proper link setting), 다양한 관련 사이트맵의 제공(Site-map provision), 현재 위치를 확인 할 수 있도록 모든 페이지 에 제목을 기입했는지의 여부(Title in all pages), 하이퍼 링크를 추가하였을 때 가시성이 두드러지는지의 여부 (Hyperlink), 마우스의 움직임 및 키보드의 입력을 최소화 하여 원하는 정보에 도달하는지의 여부(Minimization of mouse and keyboard use), 그리고 해당 네비게이션의 형 태(Shape, 무늬, 아이콘, 방법 등)로 설정하였다.

    ‘안정성(Stability)’ 평가 항목은 정보시스템의 안정적인 구동성을 평가하는 항목으로서 시스템의 로딩 시간(Web loading time), 시스템의 구동 속도(System running speed), 시스템 내에서 에러가 발생하는지의 여부(Error occurrence), 시스템 상에서의 에러가 발생하였을 때 대처 하는 응답의 방법이 적절한지의 여부(Coping method for erreor), 정보서비스 이용 시 서버 다운이 발생하는지의 여부(Server down occurrence), 정보서비스에 항시 접속이 가능한지의 여부(Accessibility at all times), 그리고 서비 스 장애가 발생하는지의 여부(Service failure)와 시스템의 처리용량(Handling capacity of system)으로 설정하였다.

    ‘유용성(Usefulness)’ 평가 항목은 정보시스템에서 제공 하는 정보가 수요자가 필요한 정보를 구득하는데 도움을 주는지를 평가하는 항목으로서 시스템 내에서 정보의 이 동이 유용한지의 여부(Information movement), 찾고자 하 는 정보의 직관성(Information immediacy), 정보의 적절한 업데이트 주기(Update frequency), 충분한 정보의 제공 (Enough information provision), 정보 형태의 적정성 (Propriety of information forms), 정보의 이해 용이성 (Understandability), 찾고자 하는 정보에 쉽게 접근 가능 한지 여부(Information accessibility), 그리고 제공하는 정 보의 분류 체계가 적절한지의 여부(Adequacy of classification)로 설정하였다.

    ‘커뮤니티(Community)’ 평가 항목은 정보시스템에 정 보의 제공자와 수요자간의 커뮤니티 제공을 위한 항목으 로서 커뮤니티 공간의 여부(Community areas), 커뮤니티 공간의 활성화(Vitalizations of community areas), 커뮤니케 이션 매개체의 존재 여부(Communication medium), 신속 하게 응답하는지의 여부(Quicker response), 공지사항과 게시판 등의 업데이트 주기가 적절한지의 여부(Update frequency), 관련 사이트의 제공 여부(Participating sites), 해당 정보시스템의 이용자 현황(Current status of users), 그리고 회원가입 기능(Joining)으로 설정하였다.

    ‘편의성(Convenience)’ 평가 항목은 정보시스템을 이용 함에 있어서 수요자들에게 편의성을 제공하는 기능으로 서 회원 검색 서비스 제공 여부(Member searching service), 다국어 제공 기능(Availability in multiple languages), 정보 다운로드 기능의 제공(Download), 화면 출력 방식(Ways of screen outputs), 회원가입 시 간편한 절차(Process of joining), 업무 유형별로 회원가입을 할 수 있는 기능(Joining by work patterns), 정보 깊이의 현 황을 제공하는지의 여부(Status of information depth), 그 리고 검색엔진 기능(Search engine)으로 설정하였다.

    ‘정확성(Accuracy)’ 평가 항목은 정보시스템에서 제공 하는 정보가 정확한지 평가하는 항목으로서 제공하는 정 보의 신뢰성(Information reliability), 타 사이트와 실시간으 로 데이터를 연동하는지의 여부(Real-time data interlock), 제공하는 관련 정보의 산정 방법(Estimation method of information, 예를 들어 농촌용수 정보시스템에서 제공하 고자 하는 가뭄지수‧홍수지수‧농업용수 이용현황의 산정 모듈의 신뢰성 및 정확성 등), 원하는 정보로의 접근 정 확성(Accuracy of information accessibility), 오탈자 존재 여부(Misprint), 자료 출처의 객관성(Objectivity of data source), 시스템 목적에 맞게 제공되는지의 여부 (Information offering matching system’s purposes), 그리고 외부사이트와 연계의 정확성 정도(Link accuracy with external site)로 설정하였다.

    2.전문 정보시스템 평가지표 개발

    지능형 농촌용수 정보서비스의 평가를 위해 기존에 구축된 기능에 대해서 리커트식 5점 척도로 점수화하여 평가하며, 구축되지 않은 기능에 대해서는 전문 의견 수 렴과 다중 선택을 통한 기능 필요여부를 평가한다.

    평가 항목의 경우 일반적인 정보 서비스 제공과 전문 적인 정보 서비스 제공 측면으로 나누어 구성하였다 (Table 1). 일반적인 정보 서비스는 시스템의 디자인, 컨 텐츠, 네비게이션, 안정성, 커뮤니티, 편의성으로 구성하 며, 전문적인 정보 서비스는 서비스에서 제공하는 정보 의 유용성과 정확성으로 분류하였다.

    일반적인 정보 서비스는 범용적으로 시스템을 평가하 며, 6개의 항목에 대하여 23개의 지표로 평가한다. 디자 인 항목은 시스템을 구성하고 있는 글자, 컨셉, 일관성, 은유성, 몰입성의 5가지 지표에 대하여 리커트식 5점 척 도로 평가한다. 컨텐츠 항목은 정보 설명, 정보 구성, 사 용자 고려 정도의 3가지 지표에 대하여 5점 척도로 평가 한다. 안정성 항목은 시스템의 로딩 속도, 에러 발생 여 부, 서버 다운 발생 여부, 서비스 장애 발생여부의 4가지 지표에 대하여 5점 척도로 평가한다. 네비게이션, 커뮤니 티, 편의성 항목은 지능형 농촌용수 정보서비스에 구축 되어 있지 않은 기능이므로 피설문자에게 다중 선택 항 목으로 각 기능의 필요여부를 질의한다. 네비게이션의 경우 네비게이션 형태, 사이트맵 제공의 2가지 지표를 고려하며 커뮤니티의 경우 커뮤니케이션 매개체, 커뮤니 티 공간 여부, 커뮤니티 공간 활성화, 관련 사이트, 이용 자 현황, 회원가입의 6가지 지표를 고려하고, 편의성의 경우 정보 다운로드, 화면 출력 방식, 업무 유형별 회원 가입의 3가지 지표를 제시한다.

    전문적인 정보 서비스는 전문 정보를 제공하는 서비 스의 평가를 위하여 시스템에서 제공하는 정보의 유용성 과 정확성에 대하여 평가하며, 2개의 항목에 대하여 7개 의 지표로 평가한다, 유용성 항목의 경우 정보시스템에 서 제공하는 각 기능들의 유용성, 정보 이동의 유용성, 정보 접근의 용이성, 정보 이해의 용이성의 4가지 지표 에 대하여 5점 척도로 평가하며, 시스템에서 제공하는 정보의 적절한 업데이트 주기는 전문 의견수렴을 통해 도출한다. 정확성 항목은 정보 시스템에서 제공하는 정 보의 신뢰성에 대하여 전문 의견 수렴을 통해 평가하며, 오탈자 여부는 5점 척도로 평가한다.

    이 외의 시스템에서 사용된 ‘지능형’ 단어와 연상되는 단어와 ‘농촌용수’와 관련된 용어에 대한 개인적인 의견, 시스템 개선 사항, 업무 수행 및 의사 결정시 도움이 되 는 정도, 농촌용수와 관련하여 가장 유익하다고 생각되 는 정보, 그리고 시스템에 대한 전반적인 견해를 질의하 여 의견을 수렴한다.

    3.평가지표의 적용가능성 검토

    전문가 집단과 일반인 집단을 대상으로 전문 정보를 제공하는 정보서비스의 평가를 위한 평가지표를 토대로 설문을 구성한 후 지능형 농촌용수 정보시스템의 평가에 적용하였다(Table 2). 지능형 농촌용수 정보시스템에 대 한 평가는 전반적으로 일반인 집단이 전문가 집단보다 만족도가 높게 분석됨에 따라 전문 지식에 대한 이해가 높을수록 정보의 질에 대한 평가 기준이 높은 것으로 나 타났다.

    일반적인 정보 서비스에서 디자인 항목의 경우 전문 가 집단은 평균 3.5점, 일반인 집단은 3.8점으로 분석되 어 보통 이상 수준의 만족도를 나타냈다. 시스템이 추구 하고자 하는 목적을 메타포를 사용하여 은유적으로 잘 드러나는가의 은유성 지표의 경우 전문가 집단에서는 2.8점으로 보통 이하의 점수를 나타낸 반면 일반인 집단 은 3.3점으로 보통 이상으로 분석되었다.

    컨텐츠 항목의 경우 전문가 집단은 3.0점으로 보통인 반면에 일반인 집단은 3.8점으로 보통 이상 수준의 만족 도를 나타냈다. 컨텐츠 항목의 평가 지표를 살펴보면 정 보의 구성과 사용자 편의를 고려한 사항에 대해서는 전 문가와 일반인 집단 모두 보통 이상의 만족도를 보였으 나 전문가 집단에서는 제공하고 있는 정보의 설명 지표 에서는 2.3점의 보통 이하의 만족도를 보였다. 이에 전문 가는 본 시스템이 전문가뿐만 아니라 대국민 서비스를 전제로 하기 때문에 홍수지수, 가뭄지수와 같은 재해관 련 정보의 용어 설명 및 산정기준의 제시가 뒷받침 되어 야 하며, 시설물 안전도와 같은 전문 용어에 대한 충분 한 설명이 수록되어야 한다는 의견을 제시하며 추가적으 로 시스템의 목적과 활용방안에 대한 설명이 포함된 별 도의 페이지가 요구된다고 제안하였다. 일반인 그룹에서 도 정보시스템에 대한 충분한 설명이 부족하여 이해가 곤란하다는 의견이 제시되었고, 컴퓨터 시스템에 익숙하 지 않은 농민의 웹접근성을 고려할 때 사용자가 원하는 정보를 쉽게 찾을 수 있도록 예제 형태의 가이드라인을 수록하면 초보자에게 도움이 될 것이라는 의견도 제안되 었다.

    안정성 항목의 경우 전문가 집단은 4.2점, 일반인 그 룹은 4.5점으로 정보시스템의 안정성은 우수한 것으로 평가되었다. 전문가 그룹에서 타 정보시스템과 비교하였 을 때 로딩 속도가 우수하며 GIS map을 로딩하여 결과 를 산출하는 본 시스템의 특성을 고려할 때 상당히 빠른 수준이라는 의견이 제시되었다. 그러나 에러 발생 여부 의 경우 정보 제공의 시각화로 지도 기능 등을 이용할 때 지도의 확대 및 축소 중 발생하는 에러가 발생하는 것으로 나타났고, 관리시스템 바로가기를 할 경우 Creation session error 메시지 배너가 생성됨에 따라 향후 개선이 필요할 것으로 분석되었다. 일반인 그룹에서는 전반적으로 정보시스템의 안정성에 대해서 우수하다고 평가하나 데이터 로딩 시 바탕에 띄워진 지도가 일그러 지는 현상이 몇 차례 지속되었다는 의견이 있었다.

    네비게이션, 커뮤니케이션, 편의성 항목 중에서 지능 형 농촌용수 정보서비스에 향후 추가적으로 필요하다고 생각되는 기능을 다중 선택으로 의견을 수렴한 결과 전 문가 집단에서는 6인의 전문가 모두 편의성의 정보다운 로드 기능을 선택하였으며, 커뮤니티의 이용자 의견수렴 기능(4회)이 필요하다고 제시하였다. 일반인 집단에서는 커뮤니티의 이용자 의견수렴 기능이 가장 많이 선택되었 으며(18회), 편의성의 정보다운로드 기능(16회), 커뮤니티 의 커뮤니티 공간(15회) 순으로 분석되었다.

    전문적인 정보 서비스에서 정보의 유용성 항목의 경 우 지능형 농촌용수 정보 서비스에서 제공하고 있는 정 보의 세부 기능들에 대하여 그 유용성을 평가하였다. 정 보의 유용성 지표는 농촌용수 정보 서비스의 기능에 따 라 지도 기능, 자료관리, 분석 기능, 응용기능, 상황판 자 료, 상황판 지도로 세분화하였다. 지능형 농촌용수 정보 시스템에서 제공하는 정보의 유용성에 대해서 전문가 집 단은 3.5점, 일반인 집단은 3.9점의 보통 이상 수준의 만 족도를 나타냈다. 제공하는 정보의 유용성 지표의 경우 대부분의 기능에 대해서 3.1점 이상의 만족도를 나타냈 으며, 전문가 집단에서는 상황판의 지도기능이 우수하다 고 평가하고 일반인 집단에서는 지도기능, 자료관리, 상 황판 자료 및 지도 기능이 우수하다고 평가하였다. 또한 시스템 내에서 정보이동, 정보 접근성, 정보의 이해 용이 성도 높은 수준의 만족도로 평가되었다. 정보 접근성의 경우 전문가와 일반인 집단 모두 관리시스템과 상황판의 아이콘 위치를 상단으로 이동할시 접근이 편리할 것으로 제안하였다.

    정확성 항목에서 오탈자는 일부 발견되어 수정될 필 요가 있는 것으로 분석되었다. 제공하고 있는 정보의 신 뢰성에 대해 의견을 물은 결과 전문가 집단에서는 전반 적으로 신뢰할 수 있으나 가뭄현황과 홍수현황의 각 지 수에 대해서 검증 및 현장 담당자의 보완이 필요할 것으 로 판단되며, 향후 정보에 대한 신뢰도를 높이기 위해 가뭄과 홍수 지수 산정 방법에 대하여 개략적인 설명이 추가될 필요가 있고 정보의 출처가 제시될 필요가 있다 고 제안하였다.

    지능형 농촌용수 정보서비스가 제공하는 농촌용수 관 련 전문 정보가 향후 가뭄 및 홍수와 관련하여 업무 수 행 및 의사결정을 하는데 도움이 되는지 질의한 결과 전 문가 집단에서는 수리시설물의 위치정보가 비교적 정확 하게 구현되어 있어 농촌용수 관련 전문가뿐만 아니라 해당 지역의 관계자와 지역민에게 중요한 자료 제공을 제공하고 물 관리시 활용될 수 있을 것으로 판단하였다.

    그러나 본 정보시스템을 효율적으로 활용하기 위해서 는 물 관리 담당자가 본 정보시스템을 활용할 수 있는 유인책 등이 필요하며, 읍면동 수준의 정보 제공 및 정 보의 실시간 제공 등의 측면에서는 보완이 필요할 것으 로 판단하였다.

    IV.결 론

    본 연구는 기존의 정보시스템 평가와 관련된 문헌을 조사하고 이를 창의적인 아이디어 창출기법 중 하나인 만다라트(Mandal-Art) 기법을 이용하여 웹기반 정보시스 템을 체계에 따라 평가하기 위한 지표를 도출하였고, 이 를 농업용수 통합정보시스템의 평가에 적용하여 활용 가 능성을 살펴보고자 하였다.

    정보시스템의 평가 항목을 도출하기 위하여 기존의 웹기반 정보시스템의 평가 방법에 대하여 고찰하였으며, 새로운 아이디어의 창의적인 개발 및 구체화를 위해 이 용되는 3×3 만다라트 매트릭스를 이용하여 8개의 평가 항목을 도출하였다. 만다라트 기법을 이용하면 중심 항 목에 대하여 제공하는 정보를 다양하게 이끌어 낼 수 있 으며, 세부항목과 각 평가지표간의 연관성을 파악하는데 용이하다. 웹기반 정보시스템을 평가하기 위해 기존의 웹기반 정보시스템의 평가방법 고찰을 통해 도출된 평가 항목은 디자인(Design), 컨텐츠(Contents), 네비게이션 (Navigation), 안정성(Stability), 커뮤니티(Community), 편의 성(Convenience), 시스템에서 제공하는 정보의 유용성 (Usefulness), 정확성(Accuracy)이다. 또한 도출된 8개의 평가 항목에 대해 9×9의 만다라트 매트릭스를 이용하여 각각 8개씩의 평가지표를 도출하여 하나의 웹기반 정보 시스템을 평가하는데 총 64개의 평가지표를 제시하였다.

    도출된 평가 지표를 이용하여 농촌용수 전문가 집단 과 일반인 집단을 나누어 지능형 농촌용수 정보시스템을 평가하였다. 리커트식 척도로 평가 가능한 5개의 평가 항목에 대하여 전문가 집단의 평가 결과가 일반인 집단 보다 평가 점수가 낮은 것으로 분석되어 전문 지식에 대 한 이해가 높을수록 전문 정보의 질에 대한 평가의 기준 이 높은 것으로 나타났다. 또한 각 항목에 대하여 평가 해본 결과 현재 정보시스템의 만족 정도를 파악할 수 있 으며, 정보시스템을 효과적으로 운영하기 위하여 향후 개선방향, 필요한 기능 등이 도출되었다.

    본 연구는 농림축산식품부의 재원으로 농림수산식 품기술기획평가원의 첨단생산기술개발사업의 지원 을 받아 연구되었음 (과제번호: 313004-4)

    Figure

    KSRP-23-49_F1.gif

    How to materialize idea using Mandal-Art method

    KSRP-23-49_F2.gif

    Evaluation indicators for information system using 9×9 Mandal-Art method

    Table

    Evaluation indicators about the integrated agricultural water information system for general and professional information service

    Evaluation results about agricultural water information system for general and professional information service

    Reference

    1. AdachiM. ItoE. FujimotoT. (2013) Proposal on Divergent Web Search Engine with Mandal-Art. , The 14th International Conference on Internet Computing,
    2. DeLoneW.H. McLeanE.R. (1992) Information Systems Success: The Quest for the Dependent Variable. , Inf. Syst. Res., Vol.3 (1) ; pp.60-95
    3. EomH. YounK. (2007) Health Center Information Systems Evaluation Tool Development and Application in BSC Framework. , Journal of the Korean Society of Health Information and Health Statistics., Vol.32 (1) ; pp.1-15
    4. HongH. NohY. (2008) A Study on Modeling a Unified Policy Information Service System in Korea. , Journal of the Korean Society for Library and Information Science, Vol.42 (1) ; pp.95-125
    5. JoJ. YangD. ChoiB. (2005) Investigation into Industrial Application of Creative Knowledge Creation Model Using Whole Brain Theory and Creative Thinking Tools. , Knowledge Management Research., Vol.6 (2) ; pp.1-22
    6. JungH. KimS. (2003) An Empirical Study on Development of IS Evaluation Indices : In Case of Public Sectors. , Journal of the Korean Operations Research and Management Science Society., Vol.28 (4) ; pp.155-188
    7. JungY. (2010) Implementation Plan of Integrated Medical Information System for Ubiquitous Healthcare Service. , Journal of the Korea Industrial Information Systems Research, Vol.15 (2) ; pp.115-126
    8. KaplanR. NortonD. (1992) The Balanced Scorecard: Measures that Drive Performance. , Harv. Bus. Rev., Vol.70 (1) ; pp.71-79
    9. KimD. KangS. KimJ. KimJ. KimH. JangJ. (2017) Development and Implementation of Prototype for Intelligent Integrated Agricultural Water Management Information System and Service including Reservoirs managed by City and County. , Journal of the Korean Society of Rural Planning, Vol.23 (3) ; pp.163-174
    10. KimD. KimJ. KimJ. KooH. LimH. (2016) System Analysis for Water Management Information Strategy of Agricultural Reservoir managed by City and County. , Journal of the Korean Society of Rural Planning, Vol.22 (2) ; pp.165-173
    11. KimJ. (2004) A Development of User Evaluation Index and A Performance Evaluation in City e-Government Websites: Fosused on Metropolitan Districts. , Journal of the Korean Urban Management Association, Vol.17 (1) ; pp.33-54
    12. KimJ. (2005) An Exploratory Study on Developing an Evaluation Model of Web Site - Focused on Tourism Information website. , The Journal of internet electronic commerce research, Vol.6 (1) ; pp.327-349
    13. KimJ. KangS. (2016) Integrated Development of Intelligent Agricultural Water Information Service can Solve Flood and Drought in One Place., Rural Research Institute Focus, Korea Rural Community Corporation,
    14. KimS. LeeH. KwonH. (2013) Evaluation Method and Application Examples for Availability Provision of National Defense Information System. , Journal of Korea Institute for Defense Analyses., Vol.1493 ; pp.13-50
    15. KimT. LeeJ. KimG. (2002) A Study on the Index Development of Website ?(tm)s Evaluation in Public Sector: Focused on Critical Review of Website ?(tm)s Evaluation Trends. , Korea Spatial Planning Review, Vol.33 ; pp.159-173
    16. MartinsonsM. DavisonR. TseD. (1999) The Balanced Scorecard: a Foundation for the Strategic Management of Information Systems. , Decis. Support Syst., Vol.25 ; pp.71-88
    17. MoonT. MoonH. (2009) A Study on the Evaluation and Improvement Methods of Web Accessibility and Usability of Korea Government Department Websites. , Korean Journal of Business Administration, Vol.22 (3) ; pp.1511-1535
    18. National Information Society AgencyNational Information Society Agency (2016) A Performance Measurement Manual of Information System Operation., Ministry of the Interior and Safety,
    19. ParkC. ChoiY. (2002) The Trend and Index Emphasis of Website Evaluation Research: Focused on the Differences of Public and Private Organizations. , Journal of Cybercommunication Academic Society, Vol.10 (2002-2) ; pp.191-258
    20. ParkJ. KangY. (2005) Exploring Study for Web Accessibility Evaluation Technique. , Kyung Young Nonchong publised by Business Research Center Dong-A University, Vol.26 ; pp.181-193
    21. RyuH. HanG. (2016) A Design Thinking Process with ?~Aspie ?(tm): Developing a New Intervention for People with Asperger ?(tm)s Syndrome. , Hanyang Med. Rev., Vol.36 (1) ; pp.11-16
    22. TsengI. MossJ. CaganJ. KotovskyK. (2008) Overcoming Blocks in Conceptual Design: The Effects of Open Goals and Analogical Similarity on Idea Generation. , Proceedings of the ASME 2008 International Design Engineering Technical Conferences and Computers and Information in Engineering Conference, American Society of Mechanical Engineers, ; pp.3-9
    23. YangD. (2004) Creation and Use of 5×5 Mandal-Art, Seminar at KAIST and Personal Communication,