Data & Analytics > DataFlow > リリースノート

2025. 10. 28.

バグ修正

• モニタリングタブでCPU、Memory、Networkの指標が、直近に実行したフローに対してのみ表示される問題を修正しました。
• 機密情報が含まれるテンプレートを利用して構成したフローまたはテンプレートを保存する場合に、保存に失敗する問題を修正しました。

2025. 09. 23.

機能改善・変更

• ノードを設定する際に、機密情報をアスタリスクで表示するよう修正しました。
  • (NHN Cloud) Object Storage > シークレットキー
  • (NHN Cloud) CloudTrail > Appkey
  • (NHN Cloud) Log & Crash Search > SecretKey
  • JDBC > パスワード
  • (Amazon) S3 > シークレットキー
• (NHN Cloud) Log & Crash Searchノードに検索クエリプロパティが追加されました。

不具合の修正

• モニタリングタブで一度も実行されていないフローを選択すると、チャートが表示されない問題を修正しました。

2025. 08. 26.

機能改善・変更

• 詳細情報画面で予約スケジュールを確認できるスケジュール一覧タブを新しく追加しました。
• フロー予約のためのCloud Schedulerコンソールへ移動ボタンを、基本情報タブからスケジュール一覧タブに移動しました。

2025. 07. 29.

機能改善・変更

• 実行モードの設定をフローに設定するように変更しました。
• CloudTrailイベント名をDataFlowコンソール用語と同一に修正しました。

不具合の修正

• ドレイン後、フローが正常に終了しない問題を修正しました。
• フローの最近のログ表示ウィンドウが開いている状態でフローが終了した場合、それ以上ログの取得リクエストを行わないように修正しました。

2025. 06. 24.

機能改善・変更

• スケジューリング機能をCloud Schedulerサービスと連動する方式に変更しました。
• Sourceノードに実行モード設定が追加されました。
  • STREAMING：フローを終了せず、リアルタイムでデータを処理します。
  • BATCH：決められたデータを処理した後、フローを終了します。

2025. 05. 27.

機能改善・変更

• 新規ノード追加
  • Filter
    • Mutate：フィールドの名前を変更したり、フィールドの値を変形することができます。
  • Sink
    • Stdout：フローイベントをログとして出力します。デバッグ用に使用できます。

不具合の修正

• ログが非常に早く溜まる場合、ログ表示機能が正常に動作しない問題を修正しました。

2025. 03. 04.

不具合の修正

• フローイベントIn/Outグラフが正常に表示されない問題を修正しました。

2024. 12. 24.

機能改善・変更

• (Amazon) S3 Sinkノードと(Amazon) S3 - Parquet Sinkノードを統合しました。
• (NHN Cloud) Object Storage Sinkノードと(NHN Cloud) Object Storage - Parquet Sinkノードを統合しました。

2024. 09. 25.

機能改善・変更

• フロー開始プロセスを安定化させました。

2024. 08. 27.

機能改善・変更

• フローの最近の実行時間の計算方法を改善しました。
• ノード設定を表示する時、必須項目が先に表示されるように修正しました。

2024. 07. 23.

機能改善・変更

• ノード設定画面でarray of stringsタイプのデータを入力する際にEnterキーを利用できるように改善しました。
• Dateノードの「Match」設定を'ソースフィールド'と'フォーマット'設定に分離しました。
• フローの重複開始または終了時のエラーコードを「ERROR」ではなく「FLOW_ALREADY_STARTED」/「FLOW_ALREADY_STOPPED」を表示するように修正しました。
• Log & Crash Searchログ保存設定を保存または削除する際、CloudTrailログを「Log & Crash Search保存設定の保存」または「Log & Crash Search保存設定の削除」で区別するように修正しました。

2024. 07. 01.

機能改善・変更

• フロー実行時にインスタンスタイプを設定できる機能を追加しました。
• (Amazon) S3 Source, Sink及び(Amazon) S3 - Parquet Sinkノードのエンドポイント、リージョン設定が必須設定から任意設定に変更されました。
  • エンドポイント、リージョン設定のいずれかを入力してもノードが正常に動作するようになりました。

不具合の修正

• フロードレイン後に終了、 Log & Crash Searchログ保存設定、有効性検査有効化、有効性検査を無効にするとCloudTrailログが残らない問題を修正しました。
• スケジューリング機能が断続的に動作しない問題を修正しました。
• Cipherノードが断続的に動作しない問題を修正しました。
• (Amazon) S3 Source, Sink及び(Amazon) S3 - Parquet Sinkノードでパブリックバケットにアクセスできない問題を修正しました。
• 有効性検査が無効な状態でJDBCノードを含むフローを保存する際に、サポートしないJDBCドライバーを使用すると、ERRORではなくJDBC_UNSUPPORTED_DRIVERと表示するように修正しました。
• 有効性検査が有効な状態でCipherノードが含まれるフローを保存する際、Cipherノード情報を誤って入力すると、ERRORではなく適切なエラーコードを表示するように修正しました。
• 退会したユーザーが実行したフローに対してステータス変更通知が送信されない問題を修正しました。

2024. 05. 28.

機能改善・変更

• 一部の設定を削除しました。
  • 共通 > 測定項目の有効化
  • Filterノード共通 > 定期的なFlush
  • (NHN Cloud) Object Storage > ACL
  • (NHN Cloud) Object Storage > ストレージクラス
  • (NHN Cloud) Object Storage - Parquet > ACL
  • (NHN Cloud) Object Storage - Parquet > ストレージクラス
• 7日を超過した期間に対するモニタリング照会時、データがより正確に表示されるように修正しました。

不具合の修正

• 退会したユーザーの修正履歴を空白ではなく"UNKNOWN USER"と表示するように修正しました。
• Object Storage, S3ノードの有効性検査時に無効なバケット名が入力された場合、"ERROR"ではなく"S3_NO_SUCH_BUCKET"と表示するように修正しました。
• フロー設定画面とモニタリング画面でのノード名称が異なる問題を修正しました。
• スケジューリングで実行されたフローに対して状態変更通知が送信されない問題を修正しました。

2024. 04. 23.

機能追加

• フロー状態変更通知メール機能を追加

不具合の修正

• ノードが多いフローモニタリングを照会する場合、照会に失敗する問題を修正しました。

2024. 03. 26.

機能追加

• フロードレイン後に終了する機能を追加
  • フローの残余イベントを全て処理するドレインを行った後、フローを終了する機能を追加しました。
  • ドレイン中のフローはフロー終了ですぐに終了できます。
  • タイムアウト時間内にドレインが終了したり、ドレイン中にタイムアウト時間を超えた場合、その時点でフローは終了します。

2024. 02. 27.

機能改善・変更

• S3、OBSノードの説明に使用される「ファイル」と「オブジェクト」という単語を「オブジェクト」に統一しました。
• フローの保存、開始、停止、検査要求時にロードUIが表示されるように修正しました。
• ノードの設定順序をより自然に修正しました。

不具合の修正

• S3, OBS Sinkノードを含むフローを保存する際、検証の過程でテスト用の一時的なオブジェクトが断続的に残る問題を修正しました。
• フローを削除する際、そのフローに保存されたスケジューリングが一緒に削除されない問題を修正しました。
• プロジェクト有効化直後にフローを作成すると、そのフローが実行されない問題を修正しました。
• 長い期間のモニタリングを照会する場合、照会に失敗する問題を修正しました。
• 有効性検査機能の実行状態が"Activating"から"Active"に遷移する際、実際の状態より早く遷移する問題を修正しました。

2024. 01. 23.

機能改善・変更

• 最初のフローを作成しないと有効性検査機能がオンにならないバグを修正しました。

2023. 12. 19.

機能追加

• 新規ノード追加
  • Source
    • DBにクエリを実行してデータを取得する機能を追加しました。
  • Sink
    • parquetタイプでObject Storageにデータを保存する機能を追加しました。
    • parquetタイプでS3にデータを保存する機能を追加しました。

不具合の修正

• フローを作成しても有効性検査機能が正常に動作しないバグを修正しました。

2023.11. 28.

機能改善・変更

• フロー保存、有効性検査時にエラーコードを追加しました。
• 有効性検査機能を使用するかどうかを選択できるように変更しました。

2023. 10. 31.

機能改善・変更

• DataFlowサービス環境を初期化する過程で発生するエラーメッセージを改善し、ユーザーに分かりやすくしました。

2023. 10. 17.

機能改善・変更

• Log & Crash Search SourceノードにSecretKeyプロパティが追加されました。

2023. 09. 26.

機能改善・変更

• データを処理する時にAt Least Onceをサポートできるように修正しました。
• S3、OBS SinkノードのPrefix設定に時間形式用の新規オプションが追加されました。

不具合の修正

• Log & Crash Search Sourceノード終了中にエラーが発生すると、フローが終了しないバグを修正しました。
• Cipher Filterノードを含むフローをコピーした後、すぐに実行するとフローが正常に動作しないバグを修正しました。
• フロー終了中にエラーが発生した場合、再度終了をリクエストしても失敗するバグを修正しました。

2023. 07. 25.

不具合の修正

• フロー実行中に失敗して再実行する際、最後に実行したポイントから引き続き実行できるように修正しました。

2023. 06. 27.

機能追加

• Log & Crash Search連動機能の追加
  • フローのログをLog & Crash Searchに保存できる機能を追加しました。

不具合の修正

• ログ表示ボタンの有効化タイミングを調整
  • ログ表示ボタンの有効化タイミングをPREPARING段階に修正しました。

2023. 03. 28.

機能追加

• 新規ノード追加
  • Filter
    • Alter、Date、UUID、Split、Truncateなどさまざまなデータ処理方法を追加しました。
• フロー使用量表示機能を追加
  • コンソールでフロー使用量をリアルタイムで確認できる機能を追加しました。

不具合の修正

• PREPARING段階に入る前にフロー使用量が先に上がるバグを修正しました。

2023. 02. 28.

機能追加

• 新規ノード追加
  • Source
    • NHN Cloud ObjectStorageノードからデータを取得する機能を追加しました。
    • Amazon S3インタフェースを介してデータを取得する機能を追加しました。
    • Apache Kafkaを介してデータを取得する機能を追加しました。
  • Filter
    • grok、json、csvノードを追加してデータをさまざまに前処理する機能を追加しました。

2023. 01. 06.

不具合の修正

• フロー編集画面でノードを追加した後に最初のボタンクリックが動作しない問題を修正しました。
• Cipherノードのフィールド追加を設定しても実際にはフィールドが追加されていない問題を修正しました。

2022. 12. 27.

新規サービスリリース

• ETLフローの作成および実行ができるサービスです。
• 下記のSourceをサポートします。
  • NHN Cloud Log & Crash Search
  • NHN Cloud CloudTrail
• 下記のFilterをサポートします。
  • Cipher (NHN Cloud Secure Key Manager連動必要)
• 下記のSinkをサポートします。
  • NHN Cloud Object Storage
  • Amazon S3 (Compatible)
  • Apache Kafka