V6平台数据处置，数据转发写入kafka

个别客户有数据转发需求，将我们平台数据转发到其他平台，可以通过数据处置配置功能将客户需要的数据转发给其他平台。

根据不通需求，可以参考《V6数据结构》将制定的topic数据转发给客户kafka的指定topic格式如下：（元数据为例）

input {
kafka {
id => “{{.System.Pipeline.Name}}-input-kafka”
bootstrap_servers => “{{.System.Kafka.Server}}”
topics => [“{{.System.Kafka.TopicPrefix}}-meta”]
consumer_threads => 1
group_id => “logstash-{{.System.Pipeline.Name}}”
max_partition_fetch_bytes => “1048576”
auto_offset_reset => “latest”
}
}

filter {

}

output {
kafka {
id => “{{.System.Pipeline.Name}}-output-kafka”
bootstrap_servers => “客户kafka地址:端口”
topic_id => “指定写入的topic名称”
codec => plain {
format => “%{[message]}”
}
}
}

将以上配置内容添加到平台–系统管理–数据管理–数据处置配置 中“配置文件”部分，保存，执行数据处置任务。

新增数据处置配置会将所有任务重置，其他任务结果可能会从头开始计数，不影响已转发数据。