大数据产品 - 主题 - twt企业IT交流平台

动态

银行Kubernetes· 2天前

14 会员关注

这个需要结合Flink任务的需求和集群实际情况，来选择存储方式，我们可以结合本地存储、持久卷和高速分布式存储，以满足不同阶段和任务的需求。例如，临时数据和中间结果可以使用本地存储，高频访问数据可以放在内存存储，持久化数据则放在分布式存储。比如，在高IO需求的短期任务中...(more)

赞同

回答

关注3

银行spark· 2024-05-08

大数据与日常应用容器化混合部署，如何合理分配资源？xxx

dean25

民生银行擅长领域：云计算, 容器, 容器云

25 会员关注

离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...(more)

赞同

回答

关注2

数据库·2024-05-07

Redis 的优势是如何在保单业务中发挥出来的

smtpclient

金电集团擅长领域：信创, 云计算, 服务器

好文。将redis作为一般的持久化数据库进行使用，其他关系型数据库如mysql/oracle等的一些特点，如ACID等，是否会影响业务数据的完整性、安全性等？

赞同4

专栏: 最佳实践

elasticsearch·2024-05-07

某行日志平台Elasticsearch运维架构选型篇

smtpclient

金电集团擅长领域：信创, 云计算, 服务器

文章很好，结构和内容非常清晰，按需进行架构扩展，徐徐展开，可作为技术路线选型参考进行测试环境或场景搭建。有一不太了解之处为，3.5日志容灾备份方案一节的消费组件侧数据同步的保证数据的一致性或强一致性，是否有这个必要？是否有已知的能确保强一致性的方法或方案？日志数据是...(more)

赞同6

Redis技术·2024-05-06

Redis技术参考手册

yangyjian iwooo 擅长领域：服务器, 存储, 灾备

2 会员关注

感谢分享！

下载 8

评价2

金币10

elasticsearch·2024-05-05

某行日志平台Elasticsearch运维静态配置篇

jillme

某大型银行擅长领域：数据库, 国产数据库, 人工智能

17 会员关注

真技术文章，专注于Elasticsearch的静态配置，特别是针对关键配置文件进行了深入的探讨。内容深度与准确性上，能够为读者提供有价值的指导和参考。文章中的配置项和配置方法都是基于实际运维经验的总结，具有很强的实用性。读者可以根据文章中的指导，针对自己的Elasticsearch环境...(more)

赞同

软件开发MySQL· 2024-04-28

MySQL写到Redis读的过程是实时还是异步？xxx

匿名用户

在实际生产环境中，将MySQL的数据同步到Redis的过程可以是实时的也可以是异步的，这取决于具体的业务需求和技术实现。这里的“实时”和“异步”主要指数据从MySQL写入到Redis后用户能够从Redis中读取这些数据的延迟。实时同步实时同步通常意味着数据在写入MySQL后立即被复制...(more)

赞同

回答

关注9

大语言模型·2024-04-03

一文读懂 PyTorch vs TensorFlow 差异性对比

jillme

某大型银行擅长领域：数据库, 国产数据库, 人工智能

17 会员关注

文章对PyTorch和TensorFlow进行了全面且深入的对比，从计算图、数据并行性、模型部署到生态系统等多个层面进行了详细的解析，展现了两个框架各自的优劣。文章条理清晰，论据充分，让读者能够清楚地了解这两个框架的特点和适用场景。特别是在模型部署和生态系统方面的对比，可以启...(more)

赞同1