Comments (3)
SPL的思路和RDB不同,它是开放的计算体系,没有“库”的概念,只要能访问到的数据都能计算,无非是访问性能不同。组表和其它文本文件以及从RDB/NoSQL中读出来的数据,在计算功能上,并没什么本质不同。”有哪些组表“这个问题对SPL并没有意义,自己到文件系统下看就可以了,甚至网络文件系统以及远程对象存储也可。
至于组表的数据结构(以及索引),有函数可以读出来。大小之类的信息,问文件系统就可以了。
没有元数据,才会有开放性,这是个基本理念。这个体系做成云原生后,也非常轻,很容易做到serverless和弹性扩展。
后面会逐步提供一些方便的编辑与管理工具,但仍然是对着文件系统的,没有“库”。数据计算无处不在,不需要“库”这个概念。
from esproc.
远程分布式对象(minIO)存储之后,试了使用file()和httpFile()读取函数出来数据都是乱码,是否有现成的读取分布式存储上面的组表的函数接口?请问能否研发新函数读取对象存储的组表数据;
from esproc.
file要求是文件系统的协议(POSIX的一部分)。httpfile就是HTTP的协议了。对象存储是它独特的协议,肯定不能直接用这个了。
对象存储目前还不直接支持,后续的外部库会支持S3等协议,把对象存储映射成一个文件对象,提供类似s3file这样的函数,之后再生成组表等动作都是一样的。
完善的S3接口要考虑缓存,否则性能比较差,这会比较麻烦,有一些开发工作量。本地或网络文件系统不用管这个。
也可以使用第三方的文件系统,有不少开源产品已经能把S3这类对象存储封装成满足POSIX协议的文件系统了,就可以直接用file函数了。不过会在架构上又多一层,复杂化了
from esproc.
Related Issues (20)
- 【强力建议】开发分布式与微服务平台,希望组表支持并发,这样每个服务调用不用加锁了 HOT 3
- 【强力建议】集算器增加连接池功能 HOT 1
- 20230228内存溢出问题 HOT 4
- 日志记录问题 错误信息没有写入到日志 不利于排查问题 HOT 1
- 20221226集算器+最新(2023-3-6)master分支追加数据到组表内存溢出 HOT 13
- 20230228版本集算器 远程计算出现疑似内存泄漏点 能否确认下 HOT 7
- 简单SQL里有支持pivot么?有样例么? HOT 1
- rename函数bug 远程计算会失败 HOT 2
- fnname函数也存在 rename函数类似的bug HOT 3
- [建议]esProc项目拆分成多模块 HOT 1
- 连接数据库提示Class [com.mysql.jdbc.Driver] is not found. HOT 1
- 集算器采用connect函数直连 连接不上oracle HOT 6
- sqltranslate函数不能正确的翻译 0 参数的函数;例如:TODAY(), NOW() HOT 1
- sqltranslate 无法正确翻译 LEFT(STR, N) 函数 HOT 1
- sqltranslate中 LEFT(str,n) 函数作为其它函数参数未被翻译 HOT 1
- 数据库对象单元格内容明码显示密码
- 数据库对象单元格内容明码显示密码
- 需要一个生成字符型序列的简单方法
- 集算器 spl 出现卡死现象 疑似 使用 Boolean 类型做为锁导致其它线程都出于等待 !!! HOT 3
- 是否支持二进制文件解析,比如stdf HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from esproc.