MapReduce实现报告-容错 MapReduce的容错 mapreduce常用语大数据处理,需要在集群中利用多台机器一起工作,所以必须能够有容错能力,能从容的处理突发的机器状况 worker Failure master会定期的对所有worker发送请求,像心跳机制,虽然都是leader或者master发送但是raft里面的心跳是leader发送给所有follower告知他们我有心跳,防止follower发起leader选举, 人工智能 2025年05月28日 185 点赞 0 评论 14993 浏览
一些Spark知识点记录 Spark RDD: 弹性分布式数据集 (Resilient Distributed DataSet) RDD的三个基本特性:分区、不可变、并行操作 1、分区 每一个 RDD 包含的数据被存储在系统的不同节点上。 在物理存储中,每个分区指向一个存储在内存或者硬盘中的数据块 (Block) ,其实这个数据块 就是每个 task 计算出的数据块,它们可以分布在不同的节点上。 RDD 只是抽象意义的数 人工智能 2025年11月11日 150 点赞 0 评论 15045 浏览
Python实现微信自动回复+AI智能回复(完整代码) 大家好啊!我是NiJiMingCheng 我的博客:NiJiMingCheng 这节我们来分享了实现AI智能回复微信的内容,我们通过使用字节跳动的豆包AI和百度文心一言来实现我们的智能回复,同时可以作为我们的知识小助手,让我们现在就开始吧,加油哦!Python实现AI豆包智能回复微 人工智能 2025年05月10日 30 点赞 0 评论 15069 浏览
flink - 实时 - UV统计 - 布隆过滤器实现 1.知识点 scala输入输出样例类 keyBy并行度为1计算UV的技巧 map(data => ("uv", data.userId))..keyBy(_._1) keyBy并行度>1 计算UV的技巧 自定义MapFunction,随机自定义key+"uv" Random.nextString(10) + "uv" WindowedStream.trigger的使用 人工智能 2025年07月09日 69 点赞 0 评论 15096 浏览
JAVA项目实战:用飞算 JavaAI 高效开发电商系统核心功能模块 JAVA项目实战:用飞算 JavaAI 高效开发电商系统核心功能模块 一、前言 二、飞算JavaAI使用 三、需求分析与规划 (一)功能需求 (二)核心模块 (三)技术选型 四、飞算JavaAI开发实录 (一)初始化项目 (二&#x 人工智能 2025年09月17日 82 点赞 0 评论 15192 浏览
实测AI Ping,一个大模型服务选型的实用工具 作为一名长期奋战在一线的AI应用工程师,我在技术选型中最头疼的问题就是:“这个模型服务的真实性能到底如何?” 官方的基准测试总是在理想环境下进行,而一旦投入使用,延迟波动、吞吐下降、高峰期服务不可用等问题就接踵而至。 直到我发现了由清华系团队打造的AI Ping,这个平台号称能提供真实、客观的大模型服务性能评 人工智能 2025年09月28日 195 点赞 0 评论 15205 浏览