标签:
Linkis分布式服务框架是一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
Linkis分布式服务框架基于微服务架构,提供了金融级多租户隔离、资源管控、权限隔离等企业级特性,支持统一变量、UDF、函数、用户资源文件管理,具备高并发、高性能、高可用的大数据作业/请求全生命周期管理能力。
核心特点:
1、统一作业执行服务:一个分布式的REST/WebSocket服务,用于接收用户提交的各种脚本请求。
目前支持的计算引擎有:Spark、Python、TiSpark、Hive和Shell等。
支持的脚本语言有:SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等;
2、资源管理服务: 支持实时管控每个系统和用户的资源使用情况,限制系统和用户的资源使用量和并发数,并提供实时的资源动态图表,方便查看和管理系统和用户的资源;
目前已支持的资源类型:Yarn队列资源、服务器(CPU和内存)、用户并发个数等。
3、应用管理服务:管理所有系统的所有用户应用,包括离线批量应用、交互式查询应用和实时流式应用,为离线和交互式应用提供强大的复用能力,并提供应用全生命周期管理,自动释放用户多余的空闲应用;
4、统一存储服务:通用的IO架构,能快速对接各种存储系统,提供统一调用入口,支持所有常用格式数据,集成度高,简单易用;
5、统一上下文服务:统一用户和系统资源文件(JAR、ZIP、Properties等),用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;
6、物料库:系统和用户级物料管理,可分享和流转,支持全生命周期自动管理;
7、元数据服务:实时的库表结构和分区情况展示。
RoadMap
1. Linkis管理台
用户可以查看和管理自己的Job
用户可以查看和管理自己的引擎
用户可以查看Yarn的资源使用情况和用户资源使用排名
用户可以配置引擎的启动参数
用户可以设置变量
2. 支持标签功能
支持给EngineManager打标签
启动引擎时,支持为引擎打标签
支持通过标签访问目标引擎
3. AppGovernance应用治理实现
系统级、用户级应用全生命周期管理,包括离线批量、交互式查询和实时流式应用
为离线和交互式应用提供复用能力和智能切换能力
智能限流、应用智能保护
4. 支持Flink和Spark Structured Streaming
加载全部内容
EltonWeb框架234KB125人下载Elton的实现参考了koa以及echo,统一中间件的形式,方便定制各类中间件,所有中间件的处理方式都非常简单,如果需要转给下一中间件,则调用Context.Next(),如果当前中间件出错,则返回Error结束调用,如果无需要转至下一中间件,则无需要调用Context.Next()。对于成功返回只需将响应数据赋值Context.Body = 响应数据,由响应中间件将Body转换为相应的响应数据,
下载Furion Web 开发框架 最新版135.49MB118人下载 Furion Web开发框架是一个以 .NET 进行开发的非常齐全且兼容性高的一款轻量级框架。
下载Taro多端统一开发框架4.16MB106人下载Taro框架是由京东 - 凹凸实验室打造的一套遵循 React 语法规范的多端统一开发框架。现如今市面上端的形态多种多样,Web、App 端(React Native)、微信小程序等各种端大行其道,当业务要求同时在不同的端都要求有所表现的时候,针对不同的端去编写多套代码的成本显然非常高,这时候只编写一套代码就能够适配到多端的能力就显得极为需要。使用 Taro,我们可以只书写一套代码,再通过 Tar
下载Ant Design阿里开源企业级框架 v3.25.32.51 MB104人下载Ant Design 是阿里开源的一套企业级的 UI 设计语言和 React 实现,使用 TypeScript 构建,提供完整的类型定义文件,自带提炼自企业级中后台产品的交互语言和视觉风格、开箱即用的高质量
下载FastAPI高性能Web框架5.77MB104人下载FastAPI是一个高性能Web框架,用于构建API。FastAPI主要特性:1、快速:非常高的性能,与NodeJS和Go相当2、快速编码:将功能开发速度提高约200%至300%3、更少的错误:减少约40%的人为错误4、直观:强大的编辑器支持,自动补全无处不在,调试时间更少5、简易:旨在易于使用和学习,减少阅读文档的时间。6、简短:减少代码重复。7、稳健:获取可用于生产环境的代码,具有自动交互式文
下载AdonisWeb框架327KB104人下载Adonisjs是一个Node.js Web框架,专注于易用性与速度。它甚至是一个全栈Web框架,解决了许多Web开发难题,提供了一个干净稳定的API,用于构建Web应用和微服务,或者用于TDD(测试驱动开发)。Adonisjs特色:类型安全类型安全被嵌入到框架中,并对TypeScript提供一流的支持。无需安装任何额外的构建工具,TypeScript只需与AdonisJS一起工作。可扩展性无需在
下载acl框架库 官方版27.4MB104人下载 acl 框架库是一个 C 库,主要包含:服务器开发框架、同步/异步网络通讯、常用数据结构、进程池/线程池、流式 xml/json 解析器、http/ping 应用协议等内容。acl 包括以下丰富的常用函数库:1、常见网络应用库:SMTP 客户端库/PING 库/memcache 客户端库/handlersocket 客户端库/beanstalk 客户端库2、HTTP 网络库:HTTP 客户端/服务
下载Bootstrap 编译版365KB103人下载Bootstrap3是Twitter推出的一个用于前端开发的开源工具包。它由Twitter的设计师Mark Otto和Jacob Thornton合作开发,是一个CSS/HTML框架。Bootstrap 是最受欢迎的 HTML、CSS 和 JS 框架,用于开发响应式布局、移动设备优先的 WEB 项目。
下载Foundation响应式前端框架11.44MB103人下载Foundation响应式前端框架是一个易用、强大而且灵活的框架,用于构建基于任何设备上的 Web 应用。提供多种 Web 上的 UI 组件,如表单、按钮、Tabs 等等。Foundation 是世界上比较先进的响应式前端框架。使用 Foundation 快速从原型到生产、构建可在任何类型设备上运行的站点或应用程序。包括一个完全可定制的响应式网格、一个大型 Sass 混合库、常用的 JavaScr
下载Ant Design前端框架3.09MB102人下载Ant Design 是阿里开源的一套企业级的 UI 设计语言和 React 实现,使用 TypeScript 构建,提供完整的类型定义文件,自带提炼自企业级中后台产品的交互语言和视觉风格、开箱即用的高质量 React 组件与全链路开发和设计工具体系。特性:提炼自企业级中后台产品的交互语言和视觉风格。开箱即用的高质量 React 组件。使用 TypeScript 开发,提供完整的类型定义文件。全链
下载