{{ executionTime }}
{{ MINUTE }}
{{ HOUR }}
{{ DAY }}
{{ MONTH }}
{{ YEAR }}
{{ time | startOf: unit }}
unit
으로 정의된 시간대의 시작 시간을 리턴합니다.{{ time | endOf: unit }}
unit
으로 정의된 시간대의 마지막 시간을 리턴합니다.{{ time | subTime: delta, unit }}
unit
으로 정의된 시간대의 delta
만큼 뺀 시간을 리턴합니다.{{ time | addTime: delta, unit }}
unit
으로 정의된 시간대의 delta
만큼 더한 시간을 리턴합니다.{{ time | format: formatStr }}
formatStr
형태로 리턴합니다.속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
유형 | - | string | 각 메시지에 주어진 값으로 type 필드를 생성합니다. |
|
측정 항목 활성화 | true | boolean | 노드의 메트릭을 수집합니다. 속성값이 true일 경우 모니터링 탭에서 노드의 이벤트 메트릭 정보를 확인할 수 있습니다. |
|
아이디 | - | string | 노드의 아이디를 설정합니다. 이 속성에 정의된 값으로 차트보드에 노드 이름을 표기합니다. |
|
태그 | - | array of string | 각 메시지에 주어진 값의 태그를 추가합니다. | |
필드 추가 | - | hash | 커스텀 필드를 추가할 수 있습니다.%{[depth1_field]} 로 각 필드의 값을 가져와 필드를 추가할 수 있습니다. |
{
"my_custom_field": "%{[json_body][logType]}"
}
현재 세션 로그와 크래시 로그는 지원하지 않습니다.
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
Appkey | - | string | Log & Crash Search의 앱키를 입력합니다. | |
조회 시작 시간 | - | string | 로그 조회의 시작 시간을 입력합니다. | 참고 |
조회 종료 시간 | - | string | 로그 조회의 종료 시간을 입력합니다. |
JSON
형식의 데이터를 다룹니다.
message
라는 필드로 포함하게 됩니다.{
"message":"{\\\"log\\\":\\\"&\\\", \\\"Crash\\\": \\\"Search\\\", \\\"Result\\\": \\\"Data\\\"}"
}
{"log":"&", "Crash": "Search", "Result": "Data"}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
Appkey | - | string | CloudTrail의 앱키를 입력합니다. | |
조회 시작 시간 | - | string | 데이터 조회의 시작 시간을 입력합니다. | 참고 |
조회 종료 시간 | - | string | 데이터 조회의 종료 시간을 입력합니다. |
JSON
형식의 데이터를 다루고 있습니다.
message
라는 필드로 포함하게 됩니다.{
"message":"{\\\"log\\\":\\\"CloudTrail\\\", \\\"Result\\\": \\\"Data\\\"}"
}
{"log":"CloudTrail", "Result": "Data"}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
측정 항목 활성화 | true | boolean | 노드의 메트릭을 수집합니다. 속성값이 true일 경우 모니터링 탭에서 노드의 이벤트 메트릭 정보를 확인할 수 있습니다. |
|
아이디 | - | string | 노드의 아이디를 설정합니다 이 속성에 정의된 값으로 차트보드에 노드 이름을 표기합니다. |
|
태그 추가 | - | array of string | 각 메시지에 태그를 추가합니다. | |
태그 삭제 | - | array of string | 각 메시지에 주어진 태그를 삭제합니다. | |
필드 삭제 | - | array of string | 각 메시지의 필드를 삭제합니다. | |
필드 추가 | - | hash | 커스텀 필드를 추가할 수 있습니다.%{[depth1_field]} 로 각 필드의 값을 가져와 필드를 추가할 수 있습니다. |
한 플로우에 여러 Cipher 노드가 포함되더라도 모든 Cipher 노드는 반드시 하나의 SKM 키 레퍼런스만 참조할 수 있습니다.
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
모드 | - | enum | 암호화 모드와 복호화 모드 중 선택합니다. | 목록 중에 하나를 선택합니다. |
앱키 | - | string | 암/복호화에 사용할 키를 저장한 SKM 앱키를 입력합니다. | |
키 ID | - | string | 암/복호화에 사용할 키를 저장한 SKM 키 ID를 입력합니다. | |
키 버전 | - | string | 암/복호화에 사용할 키를 저장한 SKM 키 버전을 입력합니다. | |
암/복호화 키 길이 | 16 | positive integer | 암/복호화 키의 길이를 입력합니다. | |
IV 랜덤 길이 | - | positive number | Initial Vector의 random bytes 길이를 입력합니다. | |
소스 필드 | - | string | 암/복호화할 필드명을 입력합니다. | |
저장할 필드 | - | string | 암/복호화 결과를 저장할 필드명을 입력합니다. |
encrypt
SKM 앱키
SKM 대칭키 ID
1
16
{
"message": "this is plain message"
}
{
"message": "this is plain message",
"encrypted_message": "oZA6CHd4OwjPuS+MW0ydCU9NqbPQHGbPf4rll2ELzB8y5pyhxF6UhWZq5fxrt0/e"
}
decrypt
SKM 앱키
SKM 대칭키 ID
1
16
{
"message": "oZA6CHd4OwjPuS+MW0ydCU9NqbPQHGbPf4rll2ELzB8y5pyhxF6UhWZq5fxrt0/e"
}
{
"decrypted_message": "this is plain message",
"message": "oZA6CHd4OwjPuS+MW0ydCU9NqbPQHGbPf4rll2ELzB8y5pyhxF6UhWZq5fxrt0/e"
}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
측정 항목 활성화 | true | boolean | 노드의 메트릭을 수집합니다. 속성값이 true일 경우 모니터링 탭에서 노드의 이벤트 메트릭 정보를 확인할 수 있습니다. |
|
아이디 | - | string | 노드의 아이디를 설정합니다. 이 속성에 정의된 값으로 차트보드에 노드 이름을 표기합니다. |
/{container_name}/year={yyyy}/month={MM}/day={dd}/hour={HH}/ls.s3.{uuid}.{yyyy}-{MM}-{dd}T{HH}.{mm}.part{seq_id}.txt
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
리전 | - | enum | Object Storage 상품의 리전을 입력합니다. | OBS 리전 상세 |
버킷 | - | string | 버킷 이름을 입력합니다. | |
비밀 키 | - | string | S3 API 자격 증명 비밀 키를 입력합니다. | |
액세스 키 | - | string | S3 API 자격 증명 액세스 키를 입력합니다. | |
인코딩 | none | enum | 인코딩 여부를 입력합니다. gzip 인코딩을 사용할 수 있습니다. | |
파일 로테이션 정책 | size_and_time | enum | 파일의 생성 규칙을 결정합니다. | size_and_time - 파일의 크기와 시간을 이용하여 결정 size - 파일의 크기를 이용하여 결정 time - 시간을 이용하여 결정 |
기준 시각 | 15 | number | 파일을 분할할 기준이 될 시간을 설정합니다. | 파일 로테이션 정책이 size_and_time 또는 time인 경우 설정 |
파일 크기 | 5242880 | number | 파일을 분할할 기준이 될 크기를 설정합니다. | 파일 로테이션 정책이 size_and_time 또는 size인 경우 설정 |
ACL | private | enum | 파일을 업로드할 때 설정할 ACL 정책을 입력합니다. | |
스토리지 클래스 | STANDARD | enum | 파일을 업로드할 때 사용할 스토리지 클래스를 설정합니다. | 스토리지 클래스 가이드l |
KR1
obs-test-container
******
******
{"hidden":"Hello DataFlow!","message":"Hello World", "@timestamp": "2022-11-21T07:49:20Z"}
/obs-test-container/2022/month=11/day=21/hour=07/ls.s3.d53c090b-9718-4833-926a-725b20c85974.2022-11-21T07.49.part0.txt
{"@timestamp":"2022-11-21T07:49:20.000Z","host":"755b65d82bd0","hidden":"Hello DataFlow!","@version":"1","sequence":0,"message":"Hello World"}
KR1
obs-test-container
******
******
{
"message": "Hello World!",
"hidden": "Hello DataFlow!",
"@timestamp": "2022-11-21T07:49:20Z"
}
/obs-test-container/2022/month=11/day=21/hour=07/ls.s3.d53c090b-9718-4833-926a-725b20c85974.2022-11-21T07.49.part0.txt
2022-11-21T07:49:20.000Z e0e40e03dd94 Hello World
KR1
obs-test-container
******
******
{
"hidden": "Hello DataFlow!",
"@timestamp": "2022-11-21T07:49:20Z"
}
/obs-test-container/2022/month=11/day=21/hour=07/ls.s3.d53c090b-9718-4833-926a-725b20c85974.2022-11-21T00.47.part0.txt
2022-11-21T07:49:20.000Z f207c24a122e %{message}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
리전 | - | enum | S3 상품의 리전을 입력합니다. | s3 region |
버킷 | - | string | 버킷 이름을 입력합니다. | |
액세스 키 | - | string | S3 API 자격 증명 액세스 키를 입력합니다. | |
비밀 키 | - | string | S3 API 자격 증명 비밀 키를 입력합니다. | |
서명 버전 | - | enum | AWS 요청을 서명할 때 사용할 버전을 입력합니다. | |
세션 토큰 | - | string | AWS 임시 자격 증명을 위한 세션 토큰을 입력합니다. | 세션 토큰 가이드 |
Prefix | - | string | 파일 업로드 시 이름 앞에 붙일 접두사를 입력합니다. | |
스토리지 클래스 | STANDARD | enum | 파일을 업로드할 때 사용할 스토리지 클래스를 설정합니다. | 스토리지 클래스 가이드 |
인코딩 | none | enum | 인코딩 여부를 입력합니다. gzip 인코딩을 사용할 수 있습니다. | |
파일 로테이션 정책 | size_and_time | enum | 파일의 생성 규칙을 결정합니다. | size_and_time - 파일의 크기와 시간을 이용하여 결정 size - 파일의 크기를 이용하여 결정 time - 시간을 이용하여 결정 |
기준 시각 | 15 | number | 파일을 분할할 기준이 될 시간을 설정합니다. | 파일 로테이션 정책이 size_and_time 또는 time인 경우 설정 |
파일 크기 | 5242880 | number | 파일을 분할할 기준이 될 크기를 설정합니다. | 파일 로테이션 정책이 size_and_time 또는 size인 경우 설정 |
ACL | private | enum | 파일을 업로드했을 때 설정할 ACL 정책을 입력합니다. | |
추가 설정 | { } | hash | S3에 연결하기 위한 추가 설정을 입력합니다. | 가이드 |
true
로 설정하는 경우 AWS S3에서 307 응답을 리턴하는 경우 redirect 경로를 추적{
follow_redirects → true
}
{
retry_limit → 5
}
true
일 경우 URL이 virtual-hosted-style이 아닌 path-style이어야 합니다. 참조{
force_path_style → true
}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
토픽 | - | string | 메시지를 전송할 Kafka 토픽 이름을 입력합니다. | |
브로커 서버 목록 | localhost:9092 | string | Kafka 브로커 서버를 입력합니다. 서버가 여러 대일 경우 콤마(, )로 구분합니다. |
bootstrap.servers ex) 10.100.1.1:9092,10.100.1.2:9092 |
클라이언트 아이디 | dataflow | string | Kafka Producer를 식별하는 ID를 입력합니다. | client.id |
메시지 직렬화 유형 | org.apache.kafka.common.serialization.StringSerializer | string | 전송하는 메시지의 값을 직렬화할 방법을 입력합니다. | value.serializer |
압축 유형 | none | enum | 전송하는 데이터를 압축할 방법을 입력합니다. | compression.type none, gzip, snappy, lz4 중 선택 |
키 직렬화 유형 | org.apache.kafka.common.serialization.StringSerializer | string | 전송하는 메시지의 키를 직렬화할 방법을 입력합니다. | key.serializer |
메타데이터 갱신 주기 | 300000 | number | 파티션, 브로커 서버 상태 등을 갱신할 주기(ms)를 입력합니다. | metadata.max.age.ms |
최대 요청 크기 | 1048576 | number | 전송 요청당 최대 크기(byte)를 입력합니다. | max.request.size |
서버 재연결 주기 | 50 | number | 브로커 서버에 연결이 실패했을 때 재시도할 주기를 입력합니다. | reconnect.backoff.ms |
배치 크기 | 16384 | number | 배치 요청으로 전송할 크기(byte)를 입력합니다. | batch.size |
버퍼 메모리 | 33554432 | number | Kafka 전송에 사용하는 버퍼의 크기(byte)를 입력합니다. | buffer.memory |
수신 버퍼 크기 | 32768 | number | 데이터를 읽는 데 사용하는 TCP receive 버퍼의 크기(byte)를 입력합니다. | receive.buffer.bytes |
전송 지연 시간 | 0 | number | 메시지 전송을 지연할 시간을 입력합니다. 지연된 메시지는 배치 요청으로 한번에 전송합니다. | linger.ms |
서버 요청 타임아웃 | 40000 | number | 전송 요청에 대한 타임아웃(ms)을 입력합니다. | request.timeout.ms |
메타데이터 조회 타임아웃 | number | https://kafka.apache.org/documentation/#upgrade_1100_notable | ||
전송 버퍼 크기 | 131072 | number | 데이터를 전송하는 데 사용하는 TCP send 버퍼의 크기(byte)를 입력합니다. | send.buffer.bytes |
ack 속성 | 1 | enum | 브로커 서버에서 메시지를 받았는지 확인하는 설정을 입력합니다. | acks 0 - 메시지 수신 여부를 확인하지 않습니다. 1 - 토픽의 leader가 follower가 데이터를 복사하는 것을 기다리지 않고 메시지를 수신했다는 응답을 합니다. all - 토픽의 leader가 follower가 데이터를 복사하는 것을 기다린 뒤 메시지를 수신했다는 응답을 합니다. |
요청 재연결 주기 | 100 | number | 전송 요청이 실패했을 때 재시도할 주기(ms)를 입력합니다. | retry.backoff.ms |
재시도 횟수 | - | number | 전송 요청이 실패했을 때 재시도할 최대 횟수를 입력합니다. | retries 설정값을 초과하여 재시도하는 경우 데이터 유실이 발생할 수 있습니다. |
{
"message": "Hello World!",
"hidden": "Hello DataFlow!",
"@timestamp": "2022-11-21T07:49:20Z"
}
{"host":"0bc501d89f8c","message":"Hello World","hidden":"Hello DataFlow!","sequence":0,"@timestamp":"2022-11-21T07:49:20.000Z","@version":"1"}
{
"message": "Hello World!",
"hidden": "Hello DataFlow!",
"@timestamp": "2022-11-21T07:49:20Z"
}
2022-11-21T07:49:20.000Z 2898d492114d Hello World
{
"hidden": "Hello DataFlow!",
"@timestamp": "2022-11-21T07:49:20Z"
}
2022-11-21T07:49:20.000Z e5ef7ece9bb0 %{message}
속성명 | 기본값 | 자료형 | 설명 | 비고 |
---|---|---|---|---|
조건문 | - | string | 메시지를 필터링할 조건을 입력합니다. |
[logLevel] == "ERROR"
{
"logLevel": "ERROR"
}
{
"logLevel": "INFO"
}
[response][status] == 200
{
"resposne": {
"status": 200
}
}
{
"resposne": {
"status": 404
}
}