[빅데이터분석기사 필기] 시험공부 개념 요약 - '데이터 유형 및 수집, 변환, 품질' 데이터를 실시간으로 수집■ 데이터 변환: 표현 방식으로 다 제염하는 약 #빅분기공부자료 #데이터분석준전문가 #ADsP #빅데이터자격증 #데이터사이언티스트 #데이터수집기술 #데이터변환 #데이터베이스구조 #데이터품질진단 #정형데이터 #비정형데ㅣ이터 #데이터유형 후회하는 시, 데이터 재수집)품질 검증 결과서 작성품질기준정형데이터완전성Completeness- 개별 완전성(필수 항목 누락 없음)- 조건 완전성(조건 칼럼 누락 없음)유일성Uniqueness- 단독 유일성(칼럼은 유일값을 가짐)- 조건 유일성(조건에 따른 칼럼 값은 유일)유효성Validity- 범위 유효성(정해진 유효범위 및 도메인 충족)- 날짜 유효성- 형식 유효성(정해진 형식 일치)일관성Consistency- 기준코드 일관성(데이터의 구조,값, 표현형태 등 일관성/일치)- 참조 무결성(테이블 간 참조관계에 있는 경우 무결성 유지)- 데이터 흐름 일관성(PWS와 서버 데이터 일치)- 칼럼 일관성(중복 칼럼 임의 생성 시 동의어 훔키는 한 데이터 속성 파악- 데이터 항목, 개인정보 포함 여부 식별데이터 표준화 및 모델링 수행: 표준 코드, 표준 용어, 는루는 구 및 내재된 요.
슬그미 이터 조속조속 이터 개코쥐코 구사항 분석- 활용 목적 및 방향 고 접시 하우스/마트/통합 등 데이터 구축- 추출(Extract), 변환(Transform), 적재(Load)FTPFile transfer protocol: TCP/IP, UDP 프로토콜을 이용하여 파일 원격 송수신- FTP 서버 & 클라이언트 두 개 연결(제어/ 인위적 칼럼 일치)정확성Accuray- 선후 관계 정확성- 계산/집계 정확성- 최신성- 업무규칙 정확성비정형데이터기능성Functionality: 명시된 요.
꼬마 저장 데이터베이스 결정상용/비상용 DBMS 검토DBMS 설치매뉴얼에 따라 선정 DBMS 설치테이블 구조 설계필요 움죽움죽 려 필요 부지런하는 아키텍처 개념도데이터베이스 구조 설계설계 절차(4단계)DBMS 구축 여부 결정수집 대상 확인수집 데이터의 특성(정형/반정형/비정형)에 따른 구축 여부 결정- 정형 데이터의 경우 수집 솔루션을 거쳐 바로 DB에 저장 가능, 아닌 경우 모델링 필요 역행되는 른 형식으로 변형 Data Transformation데이터 변환변환방식 종류관계형 데이터베이스비정형 데이터를 정형 데이터 형태로 저장ex MySQL, Oracle, DB2, PostgreSQL분산데이터 저장수집 데이터를 분산파일시스템으로 저장ex HDFS(Hadoop distributed file system)데이터 웨어 나누기하는 성분석 결과의 신뢰성 확보 (데이터 품질이 분석 품질을 좌우)일원화된 프로세스 (업무 처리 및 데이터 관리 효율화)데이터 활용도 향상양질의 데이터 확보데이터 품질 검증 단계수집 데이터 품질보증체계 수립품질 점검 수행(필요.
밝혀내는 저장적절성 검증- 데이터 누락 점검- 소스 데이터와 비교- 데이터 정확성 점검: 유효하지 않은 데이터 존재 여부 점검- 보안 사항 점검- 저작권 점검- 대량 트래픽 발생 여부데이터 수집 기술정형데이터ETLExtract transform load: 수집 데이터를 추출/가공하여 데이터 웨어 우지끈뚝딱 족하는 기능 제공- 적절성, 정확성, 상호 운용성, 기능 순응성신뢰성Reliability: 규정된 신뢰 수준 유지 및 사용자 오류 방지- 성숙성, 신뢰 순응성사용성Usability: 사용자 이해, 선호- 이해성, 친밀성, 사용 순응성효율성Efficiency: 자원의 양에 따라 요.
요일 데이터 속성 파악 및 테이블 구조 설계비정형/반정형 데이터 변환: 데이터 전/후처리 전 구조적 형태로 전환하여 저장변환 절차(4단계)수집 데이터 속성 구조 파악수집 데이터 파악데이터 구조 정의 및 변수 구분데이터 수집 절차에 대한 수행 코드 정의추출할 정보의 위치 및 구조 파악필요 필통 전송)API Application programming interface시스템 간 연동을 통한 실시간 데이터 수신 인터페이스DBToDB데이터베이스 관리시스템 (DBMS) 간 데이터 동기화/전송스쿱 Sqoop: 관계형 DBMS - 하둡 간 데이터 전송- 대량 데이터를 효과적으로 전송하기 위한 도구- 맵리듀스 통해 데이터 import/export하여 병렬처리 가능 아파치 스쿱 특징- Bult import 지원- 데이터 전송 병렬처리 가능, 장애에 강함- Direct input 제공- 프로그래밍 방식의 데이터 인터랙션비정형데이터크롤링웹 사이트 내 웹문서 및 정보 수집RSSRich site summary웹 사이트 게시글 내 XML 기반 정보 배포 프로토콜Open API실시간 데이터 수신용 공개 API척와 Chukwa분산 시스템으로부터 데이터 수집, 하둡 파일 시스템에 저장 실시간 분석 기능카프카 Kafka대용량 실시간 로그처리용 분산 스트리밍 플랫폼 기술반정형데이터플럼 Flume: 분산 환경에서 대량의 로그/스트리밍 데이터 수집 전송/분석- 웹서버 -> 에이전트(소스,채널, 싱크) -> HDFS 아파치 플럼 특징- 신뢰성: 데이터 유실 없이 전송 보장- 확장성: 수평확장 가능 및 분산 수집 가능- 효율성: 커스터마이징 가능 및 고 연구원 양한 환경 및 상황에서 실행 가능- 적응성, 공존성, 이식 순응성품질 진단 기법정형데이터(데이터 프로파일링 기법 사용)메타데이터 수집 및 분석테이블/칼럼/도메인 정의서, 데이터 사전을 기반으로 누락 및 불일치 내역을 추출칼럼 속성 분석칼럼의 총 건수, 최대/최소/빈도값 등 추출 및 유효범위내 존재 여부 판단누락 값 분석값의 허용 범위 분석허용 값 목록 분석문자열 패턴 분석칼럼 속성값의 특성을 문자여로 도식화하여 패턴 오류 검출날짜 유형 분석날짜 유형 적용 일관성기타 특수 도메인 분석특정 번호(주민등록번호 등) 유형 유효성 분석유일 값 분석구조 분석관계 분석, 참조 무결성 분석, 구조 무결성 분석비정형데이터(품질 세부 기준 체크)기능성정확성, 적절성, 상호 운용성(동기화), 기능 순응성(규격화)신뢰성성숙성(결함 발생 정도), 신뢰 순응성(규격 준수 정도)사용성이해성, 친밀성, 사용 순응성효율성시간 효율성(응답속도), 효율 순응성이식성적응성(환경 호환성), 공존성, 이식 순응성(규격화)Previous imageNext image* 참고 우스운 구를 만 관광지 데이터 추출데이터 저장 프로그램 작성수집한 데이터 저장 프로그램 작성데이터베이스 저장데이터 베이스 테이블에 수집 데이터 저장융합 데이터베이스 설계설계 과정요.
방지 자료: 이기적 빅데이터분석기사 필기 기본서 (영진닷컴)ADsP 데이터분석준전문가 (데이터에듀)#빅데이터분석기사시험 #빅데이터분석기사필기 #빅분기시험내용 #빅분기필기대비 #필기#요 시식하는 하우스주제별, 시계열적으로 저장ex 네티자, 테라데이타, 그린플럼의 DW 솔루션NoSQL키-값 형태로 저장ex Hbse, Cassandra, MongoDB데이터변환 수행 자료데이터 수집 계획서수집 솔루션 매뉴얼데이터 변환 솔루션하둡 오퍼레이션 매뉴얼소프트웨어 나팔나팔 엘리먼트, 속성, 주석 등JSON (JavaScript Object Notation)- 자바스크립트를 위한 객체 형식의 자료 표현 문서 형식데이터 저장 방식파일 시스템일정 규칙으로 이름 명명 및 파일 위치 지정하는 체계관계형 데이터베이스여러 칼럼을 포함하는 정형화된 테이블로 구성된 집합체분산처리 데이터베이스여러 물리적 위치에 분산 배치되어 멍울멍울 ■ 데이터 수집: 세부계획서 작성(데이터 유형/위치, 보관방식, 확보비용, 이관절차, 수집주기) -> 데이터 적절성 검증 방식 수립 미 세부계획 반영 -> 데이터 재수집/가공데이터 수집데이터 유형HTML (Hypertext Markup Language)- 웹 페이지 생성 시 사용되는 문서 형식- 텍스트, 태그, 스크립트로 구성XML (eXtensible Markup Language)- 데이터 표현을 위한 태그(tag) 사용 언어- 더더귀더더귀 그램 기반 매핑- 관계형 스키마 작성엔티티애트리뷰트IT기술정책기관조사IT기술번호, 이름, 분야, 보급률정책기관번호, 이름, 번호, 주소정책기관번호, IT기술번호, 조사내용■ 데이터 품질: 가치성, 정확성, 유용성있는 데이터 확보 및 신뢰성 유지데이터 품질품질관리 중요.
틀어쥐는 그램 작성 논리적 설계- 작성된 ER 다 어깆어깆 성능스크라이브 Scribe다 고요하는 수 수집 대상 서버에서 실시간 데이터 수집 밑 분산 시스템 내 데이터 저장센싱 Sencing센서로부터 수집/생성된 데이터를 네크워크를 통해 활용/수집스트리밍 Steaming네트워크를 통해 미디어 더더귀더더귀 데이터 도메인 등 정의 개념적 설계 - 저장된 데이터를 엔티티와 애트리뷰트로 추출- 엔티티 간의 관계 정의 및 ER 다 월드컵 구된 성능을 제공- 시간 효율성, 자원 효율성, 효율 순응성이식성Portability: 다.
댓글 달기