Data & Analytics > DataFlow > 릴리스 노트

2024. 07. 01.

기능 개선/변경

  • 플로우 실행 시 인스턴스 타입을 설정할 수 있는 기능을 추가했습니다.
  • (Amazon) S3 Source, Sink 및 (Amazon) S3 - Parquet Sink 노드의 엔드포인트, 리전 설정이 필수 설정에서 선택 설정으로 변경되었습니다.
  • 엔드포인트, 리전 설정 중 하나의 설정만 입력해도 노드가 정상 동작합니다.

버그 수정

  • 플로우 드레이닝 후 종료, Log & Crash Search 로그 저장 설정, 유효성 검사 활성화, 유효성 검사 비활성화 시 CloudTrail 로그가 남지 않는 문제를 수정했습니다.
  • 스케줄링 기능이 간헐적으로 동작하지 않는 문제를 수정했습니다.
  • Cipher 노드가 간헐적으로 동작하지 않는 문제를 수정했습니다.
  • (Amazon) S3 Source, Sink 및 (Amazon) S3 - Parquet Sink 노드로 퍼블릭 버킷에 접근하지 못하는 문제를 수정했습니다.
  • 유효성 검사가 비활성화된 상태에서 JDBC 노드가 포함된 플로우 저장 시 지원하지 않는 JDBC 드라이버를 사용하면 ERROR가 아닌 JDBC_UNSUPPORTED_DRIVER로 노출하도록 수정했습니다.
  • 유효성 검사가 활성화된 상태에서 Cipher 노드가 포함된 플로우 저장 시 Cipher 노드 정보를 잘못 입력하면 ERROR가 아닌 적절한 에러 코드를 노출하도록 수정했습니다.
  • 탈퇴한 유저가 실행한 플로우에 대해 상태 변경 알림이 전송되지 않는 문제를 수정했습니다.

2024. 05. 28.

기능 개선/변경

  • 일부 설정을 삭제했습니다.
  • 공통 > 측정 항목 활성화
  • Filter 노드 공통 > 주기적 Flush
  • (NHN Cloud) Object Storage > ACL
  • (NHN Cloud) Object Storage > 스토리지 클래스
  • (NHN Cloud) Object Storage - Parquet > ACL
  • (NHN Cloud) Object Storage - Parquet > 스토리지 클래스
  • 7일을 초과한 기간에 대한 모니터링 조회 시, 데이터가 더욱 정밀하게 나오도록 수정했습니다.

버그 수정

  • 탈퇴한 사용자의 수정 이력을 공란이 아닌 "UNKNOWN USER"로 노출하도록 수정했습니다.
  • Object Storage, S3 노드의 유효성 검사 시 유효하지 않은 버킷명이 입력된 경우 "ERROR"가 아닌 "S3_NO_SUCH_BUCKET"으로 노출하도록 수정했습니다.
  • 플로우 설정 화면과 모니터링 화면에서의 노드 명칭이 다른 문제를 수정했습니다.
  • 스케줄링을 통해 실행된 플로우에 대해 상태 변경 알림이 전송되지 않는 문제를 수정했습니다.

2024. 04. 23.

기능 추가

  • 플로우 상태 변경 알림 메일 기능 추가

버그 수정

  • 노드가 많은 플로우 모니터링을 조회하는 경우 조회에 실패하는 문제를 수정했습니다.

2024. 03. 26.

기능 추가

  • 플로우 드레이닝 후 종료 기능 추가
    • 플로우의 잔여 이벤트를 전부 처리하는 드레이닝을 진행한 뒤 플로우를 종료하는 기능을 추가했습니다.
    • 드레이닝 중인 플로우는 플로우 종료를 통해 바로 종료할 수 있습니다.
    • 타임아웃 시간 안에 드레이닝이 끝나거나, 드레이닝 중 타임아웃 시간을 초과할 경우 해당 시점에서 플로우는 종료됩니다.

2024. 02. 27.

기능 개선/변경

  • S3, OBS 노드의 설명에 사용되는 "파일"과 "오브젝트"라는 단어를 "오브젝트"로 통일했습니다.
  • 플로우 저장, 시작, 중지 및 유효성 검사 요청 시에 로딩 UI가 나타나도록 수정했습니다.
  • 노드 설정 순서를 더 자연스럽게 수정하였습니다.

버그 수정

  • S3, OBS Sink 노드가 포함된 플로우 저장 시 유효성 검사 과정에서 간헐적으로 테스트 용 임시 오브젝트가 남아있는 문제를 수정했습니다.
  • 플로우 삭제 시 해당 플로우에 저장된 스케줄링이 같이 삭제되지 않는 문제를 수정했습니다.
  • 프로젝트 활성화 직후 플로우 생성을 하면 해당 플로우가 실행되지 않는 문제를 수정했습니다.
  • 긴 기간 동안의 모니터링을 조회하는 경우 조회에 실패하는 문제를 수정했습니다.
  • 유효성 검사 기능의 실행 상태가 "Activating"에서 "Active"로 넘어갈 때, 실제 상태보다 빠르게 넘어가는 문제를 수정했습니다.

2024. 01. 23.

기능 개선/변경

  • 첫 플로우를 생성하지 않으면 유효성 검사 기능이 켜지지 않는 버그를 수정했습니다.

2023. 12. 19.

기능 추가

  • 신규 노드 추가
    • Source
      • DB에 쿼리를 실행하여 데이터를 가져오는 기능을 추가했습니다.
    • Sink
      • parquet 타입으로 Object Storage에 데이터를 저장하는 기능을 추가했습니다.
      • parquet 타입으로 S3에 데이터를 저장하는 기능을 추가했습니다.

버그 수정

  • 플로우 생성을 했음에도 유효성 검사 기능이 정상적으로 켜지지 않는 버그를 수정했습니다.

2023. 11. 28.

기능 개선/변경

  • 플로우 저장, 유효성 검사 시 오류 코드를 추가했습니다.
  • 유효성 검사 기능 사용 여부를 선택할 수 있도록 변경되었습니다.

2023. 10. 31.

기능 개선/변경

  • DataFlow 서비스 환경을 초기화하는 과정에서 발생하는 오류 메시지가 사용자 친화적으로 개선되었습니다.

2023. 10. 17.

기능 개선/변경

  • Log & Crash Search Source 노드에 SecretKey 속성이 추가되었습니다.

2023. 09. 26.

기능 개선/변경

  • 데이터 처리 시 At Least Once를 지원할 수 있도록 수정했습니다.
  • S3, OBS Sink 노드의 Prefix 설정에 시간 형식을 위한 신규 옵션이 추가되었습니다.

버그 수정

  • Log & Crash Search Source 노드 종료 중 오류가 발생하면 플로우가 종료되지 않는 버그를 수정했습니다.
  • Cipher Filter 노드가 포함된 플로우 복사 후 바로 실행하면 플로우가 정상 동작하지 않는 버그를 수정했습니다.
  • 플로우 종료 과정에서 오류가 발생한 경우 다시 종료를 요청해도 실패하는 버그를 수정했습니다.

2023. 07. 25.

버그 수정

  • 플로우 실행 중 비정상적으로 실패하여 재실행할 때 마지막으로 실행한 지점에서 이어 실행할 수 있도록 수정했습니다.

2023. 06. 27.

기능 추가

  • Log & Crash Search 연동 기능 추가
  • 플로우의 로그를 Log & Crash Search에 저장할 수 있는 기능을 추가했습니다.

버그 수정

  • 로그 보기 버튼 활성화 시점 조정
  • 로그 보기 버튼 활성화 시점을 PREPARING 단계로 수정했습니다.

2023. 03. 28.

기능 추가

  • 신규 노드 추가
    • Filter
      • Alter, Date, UUID, Split, Truncate 등 다양한 데이터 처리 방식을 추가했습니다.
  • 플로우 사용량 노출 기능 추가
    • 콘솔에서 플로우 사용량을 실시간으로 확인할 수 있는 기능을 추가했습니다.

버그 수정

  • PREPARING 단계로 진입하기 전에 플로우 사용량이 먼저 올라가는 버그를 수정했습니다.

2023. 02. 28.

기능 추가

  • 신규 노드 추가
    • Source
      • NHN Cloud ObjectStorage 노드로부터 데이터를 가져오는 기능을 추가했습니다.
      • Amazon S3 인터페이스를 통해 데이터를 가져오는 기능을 추가했습니다.
      • Apache Kafka를 통해 데이터를 가져오는 기능을 추가했습니다.
    • Filter
      • grok, json, csv 노드를 추가하여 데이터를 다양하게 전처리하는 기능을 추가했습니다.

2023. 01. 06.

버그 수정

  • 플로우 편집 화면에서 노드를 추가한 후 첫 버튼 클릭이 동작하지 않는 문제를 수정했습니다.
  • Cipher 노드의 필드 추가를 설정해도 실제로는 필드가 추가되지 않는 문제를 수정했습니다.

2022. 12. 27.

신규 서비스 출시

  • ETL 플로우 생성 및 실행이 가능한 서비스입니다.
  • 아래 나열된 Source를 지원합니다.
    • NHN Cloud Log & Crash Search
    • NHN Cloud CloudTrail
  • 아래 나열된 Filter를 지원합니다.
    • Cipher (NHN Cloud Secure Key Manager 연동 필요)
  • 아래 나열된 Sink를 지원합니다.
    • NHN Cloud Object Storage
    • Amazon S3 (Compatible)
    • Apache Kafka
TOP