Data & Analytics > DataFlow > 릴리스 노트
2025. 03. 04.
버그 수정
- 플로우 이벤트 In/Out 그래프가 정상적으로 표시되지 않는 문제를 수정했습니다.
2024. 12. 24.
기능 개선/변경
- (Amazon) S3 Sink 노드와 (Amazon) S3 - Parquet Sink 노드를 통합했습니다.
- (NHN Cloud) Object Storage Sink 노드와 (NHN Cloud) Object Storage - Parquet Sink 노드를 통합했습니다.
2024. 09. 25.
기능 개선/변경
2024. 08. 27.
기능 개선/변경
- 플로우 최근 실행 시간 계산 방식을 개선했습니다.
- 노드 설정 노출 시 필수 항목이 먼저 노출되도록 수정했습니다.
2024. 07. 23.
기능 개선/변경
- 노드 설정 화면에서 array of strings 타입의 데이터를 입력할 때 Enter 키를 이용할 수 있도록 개선했습니다.
- Date 노드의 'Match' 설정을 '소스 필드'와 '형식' 설정으로 분리했습니다.
- 플로우 중복 시작 또는 종료 시 오류 코드를 'ERROR'가 아닌 'FLOW_ALREADY_STARTED'/'FLOW_ALREADY_STOPPED'를 노출하도록 수정했습니다.
- Log & Crash Search 로그 저장 설정을 저장하거나 삭제할 때 CloudTrail 로그를 'Log & Crash Search 저장 설정 저장' 또는 'Log & Crash Search 저장 설정 삭제'로 구분하도록 수정했습니다.
2024. 07. 01.
기능 개선/변경
- 플로우 실행 시 인스턴스 타입을 설정할 수 있는 기능을 추가했습니다.
- (Amazon) S3 Source, Sink 및 (Amazon) S3 - Parquet Sink 노드의 엔드포인트, 리전 설정이 필수 설정에서 선택 설정으로 변경되었습니다.
- 엔드포인트, 리전 설정 중 하나의 설정만 입력해도 노드가 정상 동작합니다.
버그 수정
- 플로우 드레이닝 후 종료, Log & Crash Search 로그 저장 설정, 유효성 검사 활성화, 유효성 검사 비활성화 시 CloudTrail 로그가 남지 않는 문제를 수정했습니다.
- 스케줄링 기능이 간헐적으로 동작하지 않는 문제를 수정했습니다.
- Cipher 노드가 간헐적으로 동작하지 않는 문제를 수정했습니다.
- (Amazon) S3 Source, Sink 및 (Amazon) S3 - Parquet Sink 노드로 퍼블릭 버킷에 접근하지 못하는 문제를 수정했습니다.
- 유효성 검사가 비활성화된 상태에서 JDBC 노드가 포함된 플로우 저장 시 지원하지 않는 JDBC 드라이버를 사용하면
ERROR가 아닌 JDBC_UNSUPPORTED_DRIVER로 노출하도록 수정했습니다.
- 유효성 검사가 활성화된 상태에서 Cipher 노드가 포함된 플로우 저장 시 Cipher 노드 정보를 잘못 입력하면
ERROR가 아닌 적절한 에러 코드를 노출하도록 수정했습니다.
- 탈퇴한 유저가 실행한 플로우에 대해 상태 변경 알림이 전송되지 않는 문제를 수정했습니다.
2024. 05. 28.
기능 개선/변경
- 일부 설정을 삭제했습니다.
- 공통 > 측정 항목 활성화
- Filter 노드 공통 > 주기적 Flush
- (NHN Cloud) Object Storage > ACL
- (NHN Cloud) Object Storage > 스토리지 클래스
- (NHN Cloud) Object Storage - Parquet > ACL
- (NHN Cloud) Object Storage - Parquet > 스토리지 클래스
- 7일을 초과한 기간에 대한 모니터링 조회 시 데이터가 더욱 정밀하게 나오도록 수정했습니다.
버그 수정
- 탈퇴한 사용자의 수정 이력을 공란이 아닌 "UNKNOWN USER"로 노출하도록 수정했습니다.
- Object Storage, S3 노드의 유효성 검사 시 유효하지 않은 버킷명이 입력된 경우 "ERROR"가 아닌 "S3_NO_SUCH_BUCKET"으로 노출하도록 수정했습니다.
- 플로우 설정 화면과 모니터링 화면에서의 노드 명칭이 다른 문제를 수정했습니다.
- 스케줄링을 통해 실행된 플로우에 대해 상태 변경 알림이 전송되지 않는 문제를 수정했습니다.
2024. 04. 23.
기능 추가
버그 수정
- 노드가 많은 플로우 모니터링을 조회하는 경우 조회에 실패하는 문제를 수정했습니다.
2024. 03. 26.
기능 추가
- 플로우 드레이닝 후 종료 기능 추가
- 플로우의 잔여 이벤트를 전부 처리하는 드레이닝을 진행한 뒤 플로우를 종료하는 기능을 추가했습니다.
- 드레이닝 중인 플로우는 플로우 종료를 통해 바로 종료할 수 있습니다.
- 타임아웃 시간 안에 드레이닝이 끝나거나, 드레이닝 중 타임아웃 시간을 초과할 경우 해당 시점에서 플로우는 종료됩니다.
2024. 02. 27.
기능 개선/변경
- S3, OBS 노드의 설명에 사용되는 "파일"과 "오브젝트"라는 단어를 "오브젝트"로 통일했습니다.
- 플로우 저장, 시작, 중지 및 유효성 검사 요청 시에 로딩 UI가 나타나도록 수정했습니다.
- 노드 설정 순서를 더 자연스럽게 수정하였습니다.
버그 수정
- S3, OBS Sink 노드가 포함된 플로우 저장 시 유효성 검사 과정에서 간헐적으로 테스트 용 임시 오브젝트가 남아있는 문제를 수정했습니다.
- 플로우 삭제 시 해당 플로우에 저장된 스케줄링이 같이 삭제되지 않는 문제를 수정했습니다.
- 프로젝트 활성화 직후 플로우 생성을 하면 해당 플로우가 실행되지 않는 문제를 수정했습니다.
- 긴 기간 동안의 모니터링을 조회하는 경우 조회에 실패하는 문제를 수정했습니다.
- 유효성 검사 기능의 실행 상태가 "Activating"에서 "Active"로 넘어갈 때, 실제 상태보다 빠르게 넘어가는 문제를 수정했습니다.
2024. 01. 23.
기능 개선/변경
- 첫 플로우를 생성하지 않으면 유효성 검사 기능이 켜지지 않는 버그를 수정했습니다.
2023. 12. 19.
기능 추가
- 신규 노드 추가
- Source
- DB에 쿼리를 실행하여 데이터를 가져오는 기능을 추가했습니다.
- Sink
- parquet 타입으로 Object Storage에 데이터를 저장하는 기능을 추가했습니다.
- parquet 타입으로 S3에 데이터를 저장하는 기능을 추가했습니다.
버그 수정
- 플로우 생성을 했음에도 유효성 검사 기능이 정상적으로 켜지지 않는 버그를 수정했습니다.
2023. 11. 28.
기능 개선/변경
- 플로우 저장, 유효성 검사 시 오류 코드를 추가했습니다.
- 유효성 검사 기능 사용 여부를 선택할 수 있도록 변경되었습니다.
2023. 10. 31.
기능 개선/변경
- DataFlow 서비스 환경을 초기화하는 과정에서 발생하는 오류 메시지가 사용자 친화적으로 개선되었습니다.
2023. 10. 17.
기능 개선/변경
- Log & Crash Search Source 노드에 SecretKey 속성이 추가되었습니다.
2023. 09. 26.
기능 개선/변경
- 데이터 처리 시 At Least Once를 지원할 수 있도록 수정했습니다.
- S3, OBS Sink 노드의 Prefix 설정에 시간 형식을 위한 신규 옵션이 추가되었습니다.
버그 수정
- Log & Crash Search Source 노드 종료 중 오류가 발생하면 플로우가 종료되지 않는 버그를 수정했습니다.
- Cipher Filter 노드가 포함된 플로우 복사 후 바로 실행하면 플로우가 정상 동작하지 않는 버그를 수정했습니다.
- 플로우 종료 과정에서 오류가 발생한 경우 다시 종료를 요청해도 실패하는 버그를 수정했습니다.
2023. 07. 25.
버그 수정
- 플로우 실행 중 비정상적으로 실패하여 재실행할 때 마지막으로 실행한 지점에서 이어 실행할 수 있도록 수정했습니다.
2023. 06. 27.
기능 추가
- Log & Crash Search 연동 기능 추가
- 플로우의 로그를 Log & Crash Search에 저장할 수 있는 기능을 추가했습니다.
버그 수정
- 로그 보기 버튼 활성화 시점 조정
- 로그 보기 버튼 활성화 시점을 PREPARING 단계로 수정했습니다.
2023. 03. 28.
기능 추가
- 신규 노드 추가
- Filter
- Alter, Date, UUID, Split, Truncate 등 다양한 데이터 처리 방식을 추가했습니다.
- 플로우 사용량 노출 기능 추가
- 콘솔에서 플로우 사용량을 실시간으로 확인할 수 있는 기능을 추가했습니다.
버그 수정
- PREPARING 단계로 진입하기 전에 플로우 사용량이 먼저 올라가는 버그를 수정했습니다.
2023. 02. 28.
기능 추가
- 신규 노드 추가
- Source
- NHN Cloud ObjectStorage 노드로부터 데이터를 가져오는 기능을 추가했습니다.
- Amazon S3 인터페이스를 통해 데이터를 가져오는 기능을 추가했습니다.
- Apache Kafka를 통해 데이터를 가져오는 기능을 추가했습니다.
- Filter
- grok, json, csv 노드를 추가하여 데이터를 다양하게 전처리하는 기능을 추가했습니다.
2023. 01. 06.
버그 수정
- 플로우 편집 화면에서 노드를 추가한 후 첫 버튼 클릭이 동작하지 않는 문제를 수정했습니다.
- Cipher 노드의 필드 추가를 설정해도 실제로는 필드가 추가되지 않는 문제를 수정했습니다.
2022. 12. 27.
신규 서비스 출시
- ETL 플로우 생성 및 실행이 가능한 서비스입니다.
- 아래 나열된 Source를 지원합니다.
- NHN Cloud Log & Crash Search
- NHN Cloud CloudTrail
- 아래 나열된 Filter를 지원합니다.
- Cipher (NHN Cloud Secure Key Manager 연동 필요)
- 아래 나열된 Sink를 지원합니다.
- NHN Cloud Object Storage
- Amazon S3 (Compatible)
- Apache Kafka