【6.1】kafka最大消息默认值修改,建议10M
问题现象:检索中有会话数据,但行为数据、风险行为数据、敏感词数据都没有新数据更新,卡在了同一时间点
排查过程:检查容器状态没有异常,有错误日志。队列数据量较大,调整队列消费值,但没有生效,开发排查后是kafka默认最大消息值为1M,调整后恢复。
工作原理:squetokafka每次会批量提交50条数据,这50条数据如果大于“kafka的最大消息值”就会提交失败。由于客户的消息比较大,导致一直提交失败。修改默认最大消息值后修复。
修改kafka最大消息值:
编辑kafka配置文件:安装目录/config/server.properties
修改参数:message.max.bytes=

保存后重启kafka即可
开发建议后期实施中注意修改最大消息值到10M。