공지사항
HOME
LOGIN
회원가입
사이트맵- HOME>
반출정책
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
빅데이터캠퍼스 반출
- 반출 기본 사항
- 원칙적으로 캠퍼스 내에서 분석을 완료하기를 권장함
- 분석 완료 후 분석결과요약서 등을 다른 사람들과 공유함이 원칙임
- 중간산출물 혹은 최종결과물은 반출심사를 거쳐 외부로(개인에게) 제공됨
- 반출이 가능한 형태는 원본데이터와 분석산출물로 구분됨
- 반출요청서에 반출 신청한 자료 각각에 대해 출처와 산출과정을 자세히 명시해야 심사 가능
- 용어 정의
- 반출신청 : 원본데이터 또는 분석산출물을 캠퍼스 외부로 제공하도록 신청
- 본데이터 : 분석산출물이 아닌 단순 내부 자료(원본데이터를 신청하는 경우를 단순 자료 제공으로 처리함)
- 분석산출물 : 캠퍼스에서 제공하는 데이터를 활용하여 도출해 낸 중간결과나 분석하여 작성한 소스코드, 데이터 및 결과보고서 등 문서. 분석산출물을 작성하는 방식은 발췌처리와 기초통계처리, 통계처리로 정의함.
- 발췌처리 : 원본데이터를 형태 그대로 일부분을 추출 처리
- 기초통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 합계, 평균 등 기초통계처리
- 통계처리 : 원본데이터의 (시간, 공간 등) 단위 보다 크거나 상이한 단위로 검정값, 범주화, 지수화 등 처리
반출 가능 여부
- 원본데이터 반출
- 반출 가능
- 사이트에 기공개되어 있는 원본데이터(단, 기공개된 외부 홈페이지들을 통해 다운로드 권장)
- [표1]~[표8]까지의 목록 중 원본데이터 반출이 가능한 경우
- 길단위 추정 유동인구(도로명주소 도로링크 단위)는 원본데이터 반출이 불가하나 예외적으로 보고서용 등 꼭 필요한 경우에 한해서 동단위 일부(3~4개동)의 반출신청 시 제공처에 문의 후 반출가능여부 판단(단, 개인(팀)당 한번으로 제한함)
- 열린데이터 광장 데이터셋(http://data.seoul.go.kr에서도 다운로드 가능)
- 지역경계 shp파일 중 통계청 폴더의 시, 구, 행정동, 집계구 경계, 행정안전부 폴더
- 반출 불가능
- 반출이 제한되어 있는 원본데이터
- 지역경계 shp파일 중 통계청 폴더의 기초단위구
- 서울시 배경지도
개인별 시스템 자원
<H/W 자원>1) 가상PC 제공(VDI)
1. 개인PC(VDI) 시스템 소개
가상화시스템은 빅데이터 캠퍼스에 방문하신 이용자분들께 안전하고 안정적인 분석환경을 제공하고, 오피스SW부터 Toad, Python등 다양한 오픈소스 분석 Tool을 탑재하여 빅데이터 분석환경을 제공합니다.
2. 개인PC(VDI) 시스템 현황
| 가상화시스템 | 개인별 제공 내역 | 비고 |
|---|---|---|
| 개인PC(VDI) ZeroClient |
- 운영체제 : Windows 7 - RAM : 4GB - HDD : 150GB - S/W : 한글2014 뷰어외 21종 |
3. 가상화시스템 이용 방법
가상화시스템 이용 프로세스
사용자 개인PC(VDI) 기본설치 SW 리스트
개인PC(VDI) 시스템 - S/W 현황 : 한글2014뷰어 외 21종
| 분류 | 솔루션명 | OS | 버전 | 제품개요 |
|---|---|---|---|---|
| Development Environments | Anaconda 3 | Win64 | 아나콘다 | |
| Development Environments | Eclipse | Win64 | 이클립스 / 개발 프로그램 | |
| Development Environments | JDK | Win64 | JAVA 개발키트 | |
| Development Environments | Rstudio | Win64 | R 개발환경 | |
| Document Viewer | adobe reader | Win64 | PDF 문서 뷰어 | |
| Document Viewer | 엑셀뷰어 | Win32/64 | 엑셀 뷰어 | |
| Document Viewer | 워드뷰어 | Win32/64 | 워드 뷰어 | |
| Document Viewer | 파워포인트뷰어 | Win32/64 | 파워포인트뷰어 | |
| Document Viewer | 한컴오피스뷰어 | Win32/64 | 한컴 오피스 뷰어 | |
| Editor | Notepad++ | Win32/64 | 텍스트 에디터 | |
| File Compression (압축) | 7-Zip | Win64 | 세븐집 / 압축분할 프로그램 | |
| FTP | FileZilla | Win64 | 파일질라/ FTP 클라이언트,서버 | |
| Office Suite | LibreOffice | Win64 | 리브레오피스 / 오피스 Sofrware | |
| Office Suite | Open Office | Win64 | 오픈오피스 / 오피스 Software | |
| SQL editor | Toad for mysql | Win64 | 토드/DB 클라이언트/8.0.0.296 | |
| Telnet | PuTTY | Win32/64 | Telnet/SSH 클라이언트 | |
| Web Browser | Mozilla Firefox | Win64 | 파이어폭스/ 웹브라우저 | |
| Web Browser | Chrome | Win64 | 크롬 (Chromium) /웹브라우저 | |
| Web Browser | Internet Explorer | win64 | 웹 브라우저 | |
| 공간정보시스템 | QGIS | Win64 | 공간분석 및 시각화 도구 | |
| 빅데이터 분석 플랫폼 | R Language | Win64 | 통계분석 솔루션 | |
| 텍스트 정제 | 가위손 | Win32/64 | 대용량 텍스트파일 분할 및 추출 프로그램 |
2)분석서버 제공(VM)
1. 분석서버(VM) 시스템 소개
분석서버(VM)는 빅데이터 캠퍼스에 방문하신 이용자분들께 안전하고 안정적인 분석환경을 제공하고, Toad, Python 등 다양한 오픈소스 분석Tool을 탑재하여 빅데이터 분석환경을 제공합니다.
2. 분석서버(VM) 시스템
빅데이터 캠퍼스 이용자분들께서 사용하실 수 있는 분석서버(VM)는 원격데스크탑 접속으로 제공됩니다.
| 단계 | 이름 | 서비스 방식 | 서버 제원 |
|---|---|---|---|
| 1 단계 | 분석서버(VM) | 원격데스크탑 접속 |
- 운영제제 : Windows 2012 - vCPU : 4 core - vMEM : 16GB - Disk : 500GB |
| 2 단계 | 분석서버(VM) | 원격데스크탑 접속 |
- 운영제제 : Windows 2012 - vCPU : 8 core - vMEM : 32GB - Disk : 1TB |
| 3 단계 | 분석서버(VM) | 원격데스크탑 접속 |
- 운영제제 : Windows 2012 - vCPU : 16 core - vMEM : 64GB - Disk : 2TB |
3.분석서버(VM) 이용 방법
분석서버(VM) 이용 프로세스
4. 제공되는 SW 리스트
분석서버(VM)
| 분류 | 솔루션명 | OS | 버전 | 제품개요 |
|---|---|---|---|---|
| Development Environments | Anaconda 3 | Win64 | 아나콘다 | |
| Development Environments | Eclipse | Win64 | 이클립스 / 개발 프로그램 | |
| Development Environments | JDK | Win64 | JAVA 개발키트 | |
| Development Environments | Python | Win32 | 파이썬 / 3.7 | |
| Development Environments | Rstudio | Win64 | R 개발환경 | |
| Document Viewer | adobe reader | Win64 | PDF 문서 뷰어 | |
| Document Viewer | 엑셀뷰어 | Win32/64 | 엑셀 뷰어 | |
| Document Viewer | 워드뷰어 | Win32/64 | 워드 뷰어 | |
| Document Viewer | 파워포인트뷰어 | Win32/64 | 파워포인트뷰어 | |
| Document Viewer | 한컴오피스뷰어 | Win32/64 | 한컴 오피스 뷰어 | |
| Editor | Notepad++ | Win32/64 | 텍스트 에디터 | |
| File Compression (압축) | 7-Zip | Win64 | 세븐집 / 압축분할 프로그램 | |
| FTP | FileZilla | Win64 | 파일질라/ FTP 클라이언트,서버 | |
| Office Suite | LibreOffice | Win64 | 리브레오피스 / 오피스 Sofrware | |
| Office Suite | Open Office | Win64 | 오픈오피스 / 오피스 Software | |
| SQL editor | Toad for mysql | Win64 | 토드/DB 클라이언트/8.0.0.296 | |
| SQL editor | Workbench | Win64 | MySQL DB클라이언트 | |
| Telnet | PuTTY | Win32/64 | Telnet/SSH 클라이언트 | |
| Web Browser | Chrome | Win64 | 크롬 (Chromium) /웹브라우저 | |
| Web Browser | Internet Explorer | win64 | 웹 브라우저 | |
| 공간정보시스템 | QGIS | Win64 | 공간분석 및 시각화 도구 | |
| 빅데이터 분석 플랫폼 | POWER BI Desktop | Win64 | 통계분석 솔루션 | |
| 빅데이터 분석 플랫폼 | R Language | Win64 | 통계분석 솔루션 | |
| 빅데이터 분석 플랫폼 | SAS UniversityEdition | Win32/64 | 9411015 | 통계분석 솔루션 |
| 텍스트 정제 | 가위손 | Win32/64 | 대용량 텍스트파일 분할 및 추출 프로그램 |
3)오피스SW서버 제공
1. 오피스편집서버(VM) 소개
엑셀, 한글, 파워포인트 등 일반 오피스 문서 작성을 위한 Office 서버(VM)입니다.
2. 오피스편집서버(VM) 현황
빅데이터 캠퍼스 이용자분들께서 사용하실 수 있는 오피스편집서버는 원격데스크탑 접속으로 제공됩니다.
| 이름 | 서비스 방식 | 서버 제원 | 비고 |
|---|---|---|---|
| 오피스편집서버(VM) | 원격데스크탑 접속 |
- 운영제제 : Windows 2012 - vCPU : 32 core - vMEM : 64GB - Disk OS : 100GB - Data : 1TB |
3. 오피스편집서버 이용 방법
오피스편집서버(VM) 이용 프로세스
4. 제공되는 SW 리스트
○ MS Access
○ MS Excel
○ MS OneNote
○ MS Outlook
○ MS PowerPoint
○ MS Publisher
○ MS Word
○ 한컴 오피스(한글)
1) 하둡시스템
- 빅데이터 원본 파일 및 DB 조회 및 대용량 분석 처리가 가능한 시스템 입니다.
- 솔루션 : 아파치2.0 하둡분석솔루션
- 파일 및 DBMS : 하둡파일시스템 및 HBASE
2) R(CS/Web)
가. CS
- 개인별 분석서버(Windows 서버)에 탑재되어 제공 합니다.
나. Web
- R서버를 구성하여 개인별 계정 발급
3) SAS University Edition
가. SAS 무료버전(University Edition)
- 개인별 분석서버(Windows 서버)에 탑재하여 제공합니다.
공용 자원 제공
1) 원본파일서버
- 빅데이터 분석을 위한 원본 데이터파일및 다양한 공개 SW 목록을 조회할 수 있는 서버 시스템
- OS 환경 : Windows Server 2012 R2
2) 원본DB서버
- 빅데이터 원본 DB 조회 및 사용자 User 계정생성이 가능한 원본 DB 서버 시스템
- OS 환경 : Linux CentOS v7.2
- DBMS : MariaDB
3) 데이지(시각화) 서비스
- 웹서비스 기반의 시각화 분석 서비스
4) 주소정제 서비스
- 표준화되지 않은 주소를 표준화시킨 후 우편번호와 좌표를 부여하고 새주소를 지원하며, 주소데이터를 최적화하는 솔루션 서비스
