공지사항
HOME
LOGIN
회원가입
사이트맵- HOME>
반출정책
서울시 빅데이터 캠퍼스 반출정책
2019.12. 서울시 빅데이터 캠퍼스 (서울특별시 스마트 도시 정책관)
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
서울시 빅데이터 캠퍼스 반출정책
2019.12. 서울시 빅데이터 캠퍼스 (서울특별시 스마트 도시 정책관)
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
서울시 빅데이터 캠퍼스 반출정책
2019.12. 서울시 빅데이터 캠퍼스 (서울특별시 스마트 도시 정책관)
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
캠퍼스에서 제공하는 분석솔루션과 오픈소스 소프트웨어 설치파일 제공 현황입니다.
빅데이터 분석솔루션 서비스 제공
캠퍼스에서 빅데이터 분석에 필요한 분석서비스를 구축하거나, 파트너를 통해 기증받은 분석솔루션 서비스를 제공하고 있습니다.
하둡 시스템
○ 오픈소스 기반의 Hadoop 서비스
데이지(뉴스젤리 제공)
○ 웹페이지 기반의 시각화 분석 서비스
주소정제 솔루션(오픈메이트 제공)
○ 텍스트 주소 데이터의 좌표변환 서비스(DB서비스, 웹서비스)
각종 분석용 오픈소스 SW 제공(설치파일)
엑셀파일 다운로드| 분류 | 솔루션명 | OS | 버전 | 제품개요 |
|---|---|---|---|---|
| Capture | 캠스튜디오 (CamStudio) | Win32/64 | v2.7.2 (Build r326) | 동영상 캡쳐 도구 |
| CD/DVD Burner | K3B | Linux | 2.0.2 | CD/DVD 기록 프로그램 |
| CD/DVD Burner | 인프라레코더 (InfraRecorder) | Win64 | 0.53 | CD/DVD 기록 프로그램 |
| Chart | 제이프리차트 (JFreeChart) | Linux | v1.5.0 | 차트 생성 도구 |
| CMS | 미디어위키(MediaWiki) | Linux32/64 | 1.34.1 | 위키백과(Wikipedia)에서 사용하고 있는 웹 기반 위키 저작 솔루션 |
| CMS | 워드프레스(WordPress) | Win32/64, Linux32/64 | 5.4.1 | 블로그 작성 플랫폼 |
| DBMS | DB4 오브젝트(db4o) | 7.2 | 객체지향 메모리 데이터베이스 엔진 | |
| DBMS | 마리아DB(MariaDB) | Win32/64, Linux | 10.5.2 | 오픈소스 관계형 데이터베이스 관리 시스템. MySQL과 동일한 소스 코드를 기반 |
| DBMS | 마이에스큐엘(MySQL) | Win32/64 | 8.0.20.0 | 세계에서 가장 널리 사용되고 있는 대표적인 관계형 데이터베이스 |
| DBMS | 오라클 버클리 DB (Oracle Berkeley DB) | Win64, Linux32/64 | 18.1.32 | 슬리피캣을 인수한 오라클에서 제공하는 고성능 임베디드 데이터베이스 |
| DBMS | 큐브리드(CUBRID) | Win64, Linux64 | 10.2(엔진) | 인터넷 서비스 최적화를 목표로 개발된 국산 엔터프라이즈급 데이터베이스 |
| DBMS | 파이어버드(Firebird) | Win64, Linux64 | 3.0.5.33220 | 모질라에서 제공하는 관계형 데이터베이스 |
| DBMS | 포스트그레스큐엘 (PostgreSQL) | Win64, Linux64 | 12.2 | 객체 관계형 데이터베이스 |
| Desktop Publishing | 스크리버스 (Scribus) | Linux | v1.5.5 | 데스크톱용 출판 저작 도구 |
| Development Environments | Anaconda | Win64 | 2020.02 | 파이썬 분석환경 통합 패키지 |
| Development Environments | Canopy | Linux 64 sh/ Win64 | 2.1.9 | 파이썬 분석환경 통합 패키지 |
| Development Environments | JDK | Linux 64 src/ Win64 | 8u221 | JAVA 개발키트 |
| Development Environments | Rstudio | Linux 64 src/ win 64 | 1.2.5042 | R 개발환경 |
| Development Environments | 넷빈즈 (NetBeans) | Win32/64, Linux32/64 | 11.3 | 자바기반 통합 개발 프로그램 |
| Development Environments | 이클립스 (Eclipse) | Linux 64 src/ Win64 | 2020.03 | 자바기반 통합 개발 프로그램 |
| Development Environments | 파이썬(python) | Linux 64 src/ Win64 | 2.7.18 | 파이썬 |
| Diagram | 다이아(Dia) | Linux | 0.97.2 | 다이어그램 작성 프로그램 |
| Document Converter | Simple Text Encoding Converter | Win32/64 | 2.0 | 텍스트파일 인코딩 변환 프로그램 |
| Document Converter | Text File Cleaver | Win32/64 | 1.0 | 대용량 텍스트파일 분할 프로그램 |
| Document Viewer | adobe reader | Windows 7,8,10 | 2019.008.20071 | PDF 문서 뷰어 |
| Document Viewer | LTFviewer | Win32/64 | 5.2u | 대용량 텍스트파일 뷰어 |
| Document Viewer | 엑셀뷰어 | Win32/64 | 엑셀 뷰어 | |
| Document Viewer | 워드뷰어 | Win32/64 | 워드 뷰어 | |
| Document Viewer | 파워포인트뷰어 | Win32/64 | 파워포인트 뷰어 | |
| Document Viewer | 한글 2014 뷰어 for Linux | Linux Fedora/Ubuntu | 9.20.0.347 | 한글 문서 뷰어 |
| Document Viewer | 한컴오피스뷰어 | Fedora64,Ubuntu64 | 2020 | 한컴 오피스 뷰어 |
| Editor | notepad++ | Win32/64 | 7.8.6 | 텍스트파일 뷰어 |
| Editor | 빔(vim) | Win32/64 | 8.2 | 유닉스 시스템의 표준 편집기 |
| Editor | 선더버드 (Mozilla Thunderbird) | Win32/64, Linux32/64 | 68.8.0 | 이메일/뉴스 클라이언트 |
| Editor | 에볼루션 (Evolution) | Linux32/64 | 3.36.2 | 이메일/뉴스 클라이언트 |
| Editor | 이맥스 (Emacs) | Win32/64/Linux | v26.3 | GNU 프로젝트의 일부인 고성능 문서 편집기 |
| Editor | 제이에디트 (jEdit) | Win32/64/Linux(Slack | v5.5.0 | 자바기반의 프로그래밍용 텍스트 에디터 |
| File Compression (압축) | 7-Zip | Win64 | 19.00 | 세븐집 / 압축분할 프로그램 |
| File Compression (압축) | bzip2 | Unix/Linux | 1.0.6 | 파일 압축 도구 |
| File Compression (압축) | GNU tar | Linux32/64 | 1.32 | 저장 및 백업용 유틸리티 |
| File Compression (압축) | GNU zip (gzip) | Linux32/64 | 1.9 | GNU 압축 유틸리티 |
| File Manager | WinDirStat | Win32/64 | 1.1.2 | Microsoft Windows 용 디스크 사용량 통계 뷰어 및 정리 도구 |
| Framework | 루비 온 레일즈(Ruby on Rails) | Win64 | 2.7.1 | 어플리케이션 웹 프레임워크 |
| Framework | 장고(Django) | Linux32/64 | 3.0.6 | Python 기반의 웹 프레임워크 |
| FTP | FileZilla | Win32/64 | 3.48.0 | 파일질라 / 고속 FTP 클라이언트,서버 |
| FTP | WinSCP | Win64 | 5.17.5 | Windows용 그래픽 SFTP 및 FTP 클라이언트 |
| FTP | 삼바 (Samba) | Linux | 4.12.2 | 유닉스, 리눅스, 윈도우즈간 공유설정 프로그램 |
| Graphics & 3D Modeling | 김프(GIMP) | Win32/64 | 2.10.18 | 이미지 편집 프로그램 |
| Graphics & 3D Modeling | 김프샵 (Gimpshop) | Win64 | 2.8 | 이미지 편집 프로그램 |
| Instant Messaging & Communications | 스파크 (Spark) | Win32/64, Linux32/64 | 2.8.3 | 메신져 클라이언트 |
| Multimedia | MPlayer | Linux | 1.3.0 | 미디어 플레이어 |
| Network | Wireshark | Win64 | 3.2.3 | 네트워크 프로토콜 분석기 |
| NoSQL | 레디스(Redis) | Linux32/64 | 6.0.1 | 인메모리 기반 NoSQL 데이터베이스 |
| Office Suite | Apache OpenOffice | Win32, Linux32/64 | 4.1.7 | 윈도우 및 리눅스를 포함한 다양한 플랫폼을 지원하는 무료 통합오피스 |
| Office Suite | LibreOffice | Win32, Linux32/64 | 6.2.5.2 | 리브레오피스 / 윈도우,맥OS 및 리눅스에서 사용가능한 통합 오피스 |
| PDF Viewer | xpdf | Win32/64, Linux32/64 | 4.02 | PDF 문서 뷰어 |
| PDF Viewer | 고스트스크립트(Ghostscript) | Win32/64, Linux32/64 | 9.52 | PDF 문서 뷰어 |
| PDF Viewer | 수마트라PDF(SumatraPDF) | Win32/64 | 3.2 | 다양한 문서 형식(PDF, djvu 등) 지원 뷰어 |
| screen reader | NVDA(스크린 리더) | Win32/64 | 2020.1 | 스크린 리더 |
| Search | 루씬 (Apache Lucene) | Linux32/64 | 8.5.1 | 자바로 개발된 오픈소스 정보검색 라이브러리 |
| SQL editor | Toad for mysql | Win32/64 | v8.0.0.296 | DB 클라이언트 |
| Telnet | PuTTY | Win64 | 0.73 | Telnet/SSH 클라이언트 |
| Telnet | xming | Win32/64 | 6.9.0.31 | X터미널 지원 환경 |
| WAS | 글래스피쉬(GlassFish) | JAVA | 5.0.1 | 오라클에서 제공하는 웹 어플리케이션 서버 |
| WAS | 레진(Resin) | Win32/64, Linux32/64 | 4.0.64 | Caucho에서 제공하는 어플리케이션 서버 |
| WAS | 아파치 톰캣(Apache Tomcat) | Win64, Linux32/64 | 9.0.34 | 아파치 서블릿/JSP 컨테이너 |
| WEB | Apache HTTP Server | Win32, Linux32/64 | 2.4.43 | 전 세계적으로 가장 많이 사용되고 있는 웹서버 |
| Web Browser | Internet Explorer | Win64 | 11 | 웹 브라우저 |
| Web Browser | 시몽키 (SeaMonkey) | Win32/64 | 2.53.2 | 웹브라우저 |
| Web Browser | 크롬 (Chrome) (Chromium) | Win64 | 1.3.35.451 | 웹브라우저 |
| Web Browser | 파이어폭스 (Mozilla Firefox) | Win64, Linux64 | 76.0 | 웹브라우저 |
| 가상화 | MinGW | Win32/64 | 0.63 | 윈도에서 리눅스 에뮬레이션 |
| 가상화 | 도커 (Docker) | Win64/Linux | 19.03.8-3 | 리눅스컨테이너 가상화 기술. SW컨테이너 내에 애플 리케이션 배포를 자동화하는 공개SW |
| 가상화 | 버추얼 박스 (VirtualBox) | Win64, Linux32/64 | 6.1.6 | Windows, Mac, Linux 등 다른 OS를 함께 실행시킬 수 있는 가상OS 구동 프로그램 |
| 공간정보시스템 | QGIS | Win64 | v3.12.2 | 공간분석 및 시각화 도구 |
| 대용량 machine learning 알고리즘 | Mahout | Linux32/64 | 0.14.0 | MapReduce 패러다임을 사용하여 하둡 상에서 실행되는 클러스터링, 협업 필터링 및 분류를 위한 알고리즘 |
| 데이터 웨어하우스 | 하이브(Hive) | Linux32/64 | 3.1.2 | 대용량 데이터 분석에 적합한 하둡의 상위에 위치한 SQL기반의 Data Warehouse 구성요소 |
| 분산 관리 시스템 | 주키퍼(Zookeeper) | Linux32/64 | 3.6.1 | 분산 환경에서 노드들 간의 분산 동기화, 그룹 서비스, 공유, 락 등을 관리하는 시스템 |
| 분산 로그관리 시스템 | 스크라이브(Scribe) | Linux32/64 | 2.0 | 여러 서버로부터 실시간으로 스트림되는 로그 데이터를 종합하여 처리 |
| 분산 로그관리 시스템 | 플럼(Flume) | Linux32/64 | 1.9.0 | 대용량 로그데이터를 중앙집중화된 데이터 저장소로 효율적으로 수집, 통합,저장하기 위한 시스템 |
| 분산검색엔진 | 엘라스틱서치 (ElasticSearch) | Win32/64 | 7.6.2 | HTTP에서 JSON을 사용하여 데이터를 인덱스 할 수 있고 다중 타입을 가지는 다중 Tenant를 지원하는 분산 검색 엔진 |
| 분산데이타베이스시스템 | 몽고디비(Mongodb) | Win64, Linux64 | 4.2.6 | JSON 형태의 문서 콜렉션으로 데이터를 저장하는 오픈 소스 문서 지향 데이타베이스 |
| 분산데이타베이스시스템 | 에이치베이스 (Hbase) | Linux32_64 | 2.2.4 | HDFS에 구현한 분산 컬럼 기반이며 대규모 데이터셋에 실시간으로 랜덤 액세스가 가능한 분산 데이타베이스 시스템 |
| 분산데이타베이스시스템 | 카산드라 (Cassandra) | Linux32_64 | 3.11.6 | Ruby, Perl, Python, Scala, Java, PHP, C++, C# 등 다양한 언어를 지원하고 Facebook, Twitter 등에 사용된 분산데이타베이스 시스템 |
| 분산파일시스템 | 글러스터(GlusterFS) | Linux32_64 | 7.5 | 아마존 AWS(Amazon Web Service)에 사용된 Metadata 서버거 필요없는 스캐일 아웃방식의 NAS인 스토리지 솔루션 |
| 분산파일시스템 | 스톰(Storm) | Linux32_64 | 2.1.0 | 분산 실시간 컴퓨팅 시스템 |
| 분산파일시스템 | 하둡(Hadoop) | Linux32_64 | 3.2.1 | 컴퓨터 클러스터를 이용하여 대용량 데이터 셋의 분산 처리를 지원하는 분산 파일 시스템 |
| 빅데이터 관리 | Hue | Linux | 4.7.0 | 하둡을 위한 Web 인터페이스. 웹브라우저를 통한 시 스템 접근 및 파일 시스템 열람, 사용자 계정 생성 및 관리, 클러스터 모니터링 등 다양한 기능 제공 |
| 빅데이터 분석 플랫폼 | R | Win32/64, Linux32/64 | 4.0.0 | 통계계산 및 시각화를 위한 언어 및 개발환경을 제공 |
| 빅데이터 분석 플랫폼 | SAS UniversityEdition | VM형태이므로 호스트OS무관 | 9411015 | 통계분석 솔루션 |
| 빅데이터 분석 플랫폼 | 피그(Pig) | Linux32_64 | 0.17.0 | 데이터-흐름 기반의 스크립트 프로그래밍 언어 |
| 빅데이터 프레임워크 | Apahce Giraph | Linux32_64 | 1.2.0 | 빅데이터의 그래프 분석 처리 시스템 |
| 빅데이터 프레임워크 | 아파치 하마 (Apache Hama) | Linux32_64 | 0.7.1 | 아파치 Top 레벨 프로젝트로, 대규모 매트릭스와 그 래프 연산을 제공하는 프레임워크. |
| 빅데이터 플랫폼 | Apache Sqoop | Linux32_64 | 1.4.7 | RDBMS와 아파치 하둡간의 대용량 데이터들을 변환 하여 주는 Command-Line Interface 애플리케이션. 데 이터 커넥터와 일치하지 않는 데이터 포맷을 사용할 수 있도록 지원 |
| 빅데이터 플랫폼 | Gephi | Win/Linux | 0.9.2 | 1백만 노드 규모의 네트워크와 다양한 크래프 타입을 지원하는 시각적 분석 도구. 구글, 오라클, 미 국립보건연구원 등에서 사용되며, 프로그램으로 경로, 네트워크, 사회관계 등을 분석해 그래프로 나타냄 |
| 워크플로우 스케쥴러 | Oozie | Linux32_64 | 5.2.0 | 하둡의 Workflow 스케줄러 시스템 |
| 클라우드 플랫폼 | 클라우드스택 (CloudStack) | Linux | 4.13.1.0 | 세련된 GUI, 웹기반의 관리콘솔, 다양한 하이퍼바이저와의 연동, 소프트 방화벽, 로드밸런싱 기능이 있는 클라우드 플랫폼 |
| 텍스트 정제 | 가위손 | Win32/64 | V3.1(다람쥐) | 대용량 텍스트파일 분할 및 추출 프로그램 |
