Akışı çiz.Satırları oku.Kaymayı yakala.
DataFloem, görsel veri akışları ve kod için tek bir çalışma alanıdır. Kaynaklarınızı bağlayın, veriyi bir tuval üzerinde şekillendirin, her düğümde gerçek satırları kontrol edin ve kaynakta bir kolon değiştiğinde hangi adımın gözden geçirilmesi gerektiğini tam olarak görün.
Bankacılık, sigortacılık, perakende ve havacılıktaki veri ekipleri tarafından tercih ediliyor.
Verinizin zaten bulunduğu yerden başlayın.
Her bağlantıyı bir yönetici bir kez tanımlar. Projeler ihtiyaç duydukları kaynak ve hedeflere erişim alır; tuval de her düğümü ailesine göre renklendirir, böylece bir akış ilk bakışta okunur.
RDBMS
PostgreSQLOracleSQL ServerAzure SQLAzure SynapseMySQLTeradataVerticaClickHouseTrino
Bulut Veri Tabanı
BigQuery
Bulut Depolama
Azure Data Lake Storage Gen2Azure Blob StorageGoogle Cloud Storage
Nesne Depolama
Amazon S3S3 uyumlu depolar
NoSQL
MongoDBElasticsearch
Katalog
Iceberg REST kataloglarıJDBC kataloglarıDosya katalogları
Python Betiği
Python ile erişebildiğiniz her sistem
- FormatlarSnappy veya Gzip ile CSV, Parquet, ORC, JSON
- OkumaTam veya artımlı, kendi artım betiğinizle
- YazmaEkleme veya üzerine yazma, ön ve son sorgularla
- BağlantılarSSL/TLS ve sürücü seçenekleri, gizli bilgiler maskeli
Gerçekten kullandığınız düğümlerle bir tuval.
Tuvale sağ tıklayın ve bir düğüm ekleyin. Her biri tiplendirilmiş bir form açar; böylece bir birleştirme anahtarlarını ve tiplerini, bir toplama ise hangi kolonları grupladığını ve hangilerini hesapladığını bilir.
- Versiyonlar. Her iş numaralı versiyonlar tutar; çalışan versiyonu kaybetmeden bir akışı değiştirebilirsiniz.
- Kopyala, yapıştır, grupla ve not ekle. Büyük bir işi büyük bir dosya gibi düzenleyin.
- Akış parametreleri. Sabit ya da ifade değerleri, herhangi bir alanda $$name olarak kullanılır.
- Otomatik yerleşim ve geri alma. Tek tıkla grafik düzenlenir. Elli adımlık geri alma sizi güvende tutar.
- Kaynak ve HedefHer bağlayıcı ailesi, okuma ve yazma.
- SeçimKolonları tutun, yeniden adlandırın veya çıkarın.
- İfadeSpark söz dizimiyle hesaplanan kolonlar.
- Filtreİç içe kurallar ve koşul grupları.
- BirleştirmeLeft, right, full outer ve cross; tiplendirilmiş kurallarla.
- ToplamaSum, avg, min, max, count, distinct count, std dev.
- BirleşimUnion veya Union All; uyumsuzluklar kolon bazında gösterilir.
- TekilleştirmeTüm kolonlarda ya da seçtiklerinizde.
- SıralamaArtan veya azalan anahtarlar.
- Yeniden BölümlemeBölüm sayısı ve bölümleme kolonları.
- ÖrneklemeRastgele veya tabakalı; iki çıktı da korunur.
- SQLAdımı bir sorgu olarak yazın, çıktısını tanımlayın.
- WranglerCanlı taslak çalıştırmalı temizlik adımları.
- PythonBir veya daha fazla çıktı tablosu üreten betik adımı.
Okunabilen birleştirmeler.
Bir tablo ekleyin, birleştirme tipini seçin ve koşulu kurallar ile gruplardan oluşturun. Her kolon adının yanında tipini gösterir; böylece bir anahtar uyumsuzluğu motora ulaşmadan görünür. Çıktı şeması, kolon sayısıyla birlikte panelin altında yer alır.

Her düğümde satırları kontrol edin.
Akışı üzerinde çalıştığınız düğüme kadar çalıştırın ve satırlarını yerinde açın. Tuvalden ayrılmadan sonucu filtreleyin, sıralayın ve sayfalar arasında gezinin.
- Kısmi çalıştırma. İlgilendiğiniz düğümleri seçin ve yalnızca onları çalıştırın.
- Denemeler. Her hata ayıklama denemesi kendi önizlemesini tutar; öncesini ve sonrasını karşılaştırabilirsiniz.
- Durum düğümün üzerinde. Çalışıyor, tamamlandı ve başarısız durumları tuvalde görünür. Son çalıştırmadan bu yana ayarları, bağlantıları veya öncülleri değişen düğüm güncel değil olarak işaretlenir.

Kaynakta bir kolon değiştiğinde, doğru düğüm inceleme ister.
Her düğüm kaydedildiği andaki kolonları hatırlar. Bir kaynağa kolon eklendiğinde, kaynaktan kolon çıkarıldığında ya da kolonun tipi değiştiğinde DataFloem değişikliği bağlantılar boyunca izler ve yalnızca ulaştığı düğümleri işaretler. Değişikliğin ne anlama geldiğine siz karar verirsiniz. Kayıt tutmayı tuval üstlenir.
Bir kaynak değişir.
orders tablosunda is_gift Boolean gibi yeni bir kolon belirir. Henüz hiçbir şey çalışmaz.
Tuval onu takip eder.
Yalnızca yeri değişen kolon kimlikleri sizin için onarılır. Anlamı değişebilecek düğümler, ipucunda tam kolon adlarıyla birlikte bir işaret alır.
Bir kişi onaylar.
Düğümü açın ve seçin: yeni kolonları çıktıya ekleyin ya da dışarıda bırakın. İncelemeler açıkken tam çalıştırma sizi uyarır.

Bazı işler koda aittir. Onları aynı projede tutun.
Bir Kod Akışı; Stüdyo oturumunda yazdığınız dosyaları, bunları imaj olarak paketleyen bir Yapılandırma Tarifini ve bu imajı ihtiyaç duyduğu kaynak ve hedeflerle kümenizde çalıştıran bir Çalıştırma Tarifini bir arada tutar.
Stüdyoda yazın
Projeye atanmış bir Stüdyoda Jupyter Lab veya VS Code oturumu açın. Saklamak istediğiniz dosyaları Kod Akışına kaydedin.
Paketleyin
İmaj deposunu ve etiketini belirleyin, ardından derleme adımlarını sıralayın. Kendi sunucunuzdaki bir ajan imajı derler ve günlüğü canlı olarak geri gönderir.
Kümenizde çalıştırın
Kümeyi, projenin kaynak ve hedeflerini, ortam ve gizli bilgi ayarlarını, CPU ve bellek istek ve limitlerini seçin.



Akışlarınızın doldurduğu katalogları sorgulayın.
Anlık analiz için bir SQL editörü, işlerinizin hemen yanında. Katalogları, şemaları ve tabloları bir ağaçta gezin, bir tabloyu yeni sekmede açın ve sorguyu seçtiğiniz motorda çalıştırın.
- Sekmeler ve kayıtlı sorgular. Aynı anda birden fazla sekmede çalışın, tekrar kullandığınız sorguları kaydedin, önceki çalıştırmaları Son Sorgular altında bulun.
- Sonuçlar geldikçe. Sorgu çalışırken satırlar sonuç paneline akar ve sorguyu istediğiniz an durdurabilirsiniz.
- Kataloglar. JDBC veya dosya alanlarında Iceberg, Parquet, CSV, ORC ve JSON tabloları. Bir kaynaktan toplu tablo oluşturun ve kolonlarını değiştirin.
- Tablo düzeyinde erişim. Politikalar, roller ve izinler her tabloyu kimin okuyabileceğini belirler.

Akışın çevresindeki her şey, aynı yerde.
Worker sayıları, boşta kalma süreleri, node selector ve toleration ayarlarıyla Kubernetes kümeleri ve Stüdyo çalışma alanları. Yapılandırma profilleri ortak değişkenleri ve gizli bilgileri tek yerde tutar.
Bir işi, Kod Akışını, projeyi, klasörü ya da tüm bir alanı dosyaya aktarın ve başka bir ortama içe aktarın.
Ağınızda çalışır. Verileriniz orada kalır.
DataFloem kurum içinde çalışır. Onu kendi veri merkezinize ya da kendi bulut hesabınıza, okuduğu sistemlerin yanına kurarsınız. Verileriniz ve kimlik bilgileriniz ağınızdan asla çıkmaz.
- Sizin işlem gücünüzİşler, kısmi çalıştırmalar ve Stüdyo oturumları, belirlediğiniz CPU ve bellek limitleriyle sahibi olduğunuz Kubernetes kümelerinde çalışır.
- Sizin derleme zincirinizSunucularınızdaki bir derleme ajanı Kod Akışlarını paketler ve imajları kendi deponuza gönderir.
- Sizin bağlantılarınızBağlantılar SSL/TLS kullanır. Parolalar ve gizli sürücü seçenekleri üründe maskeli kalır.
Hesap veren ekipler için tasarlandı.
Erişim, kurumunuzun yapısını izler. Her iş, Kod Akışı ve bağlantı bir projede yer alır ve her projenin kendi kullanıcıları ve grupları vardır.
Net bir hiyerarşi
Alanlar klasörleri, klasörler projeleri, projeler de işi barındırır. Altyapı bir projeye atanır ya da bir kişi talep eder ve sahibi bu talebi bir görev olarak onaylar.
alan analytics
└ klasör commerce
└ proje revenue
├ işler · kod akışları
├ kaynaklar · hedefler
├ kümeler · stüdyolar
└ kullanıcılar · gruplarHer kaynakta erişim kontrolü
Her iş, Kod Akışı, bağlantı ve kümenin kendi kullanıcıları ve grupları vardır; listeleme, okuma, değiştirme, çalıştırma, kullanma, silme ve paylaşma hakları ayrı ayrı verilir.
Kendi dizin servisiniz ya da kimlik sağlayıcınızla oturum açın.
Kimin ne yaptığının kaydı
Saklama süresini sizin belirlediğiniz, kaynak tipi bazında açılan istek ve değişiklik denetim günlükleri.
Açık işler tuvalde başka kimlerin olduğunu gösterir. İlk düzenleme kilidi alır, diğerleri işi salt okunur görür ve bir yönetici unutulmuş bir kilidi kaldırabilir.
Veri mühendislerinin bize sorduğu sorular.
Sorunuzu bulamadınız mı? info@datafloem.com adresine yazın, yanıtlayalım.
Verilerim nereye gidiyor?
Ağınızın dışına hiçbir yere. DataFloem kurum içinde çalışır: onu kendi veri merkezinize ya da kendi bulut hesabınıza kurarsınız. İşler sistemlerinizden doğrudan okur ve onlara doğrudan yazar; verileriniz ve kimlik bilgileriniz ağınızın içinde kalır.
İşlerimi ne çalıştırıyor?
DataFloem'e tanımladığınız Kubernetes kümeleri. Her çalıştırma, seçtiğiniz kümeye o kümenin izin verdiği kaynaklarla gider. İfadeler Spark söz dizimiyle yazılır.
Düğüm çizmek yerine kod yazabilir miyim?
Evet, iki düzeyde. Bir işin içinde SQL ve Python düğümleri tek bir adımı kod olarak yazmanıza ve çıktısını tanımlamanıza izin verir. Tamamen kodla yazılan bir akış için Kod Akışı; Jupyter Lab veya VS Code oturumundaki dosyaları, onları paketleyen bir Yapılandırma Tarifini ve kümenizde çalıştıran bir Çalıştırma Tarifini bir arada tutar.
Kaynak tablo değiştiğinde ne olur?
DataFloem her düğümün kaydedildiği andaki kolonları şimdiki girdisiyle karşılaştırır. Yalnızca yeri değişen kolon kimlikleri onarılır. Çıktısı değişebilecek düğümler, kolonları adıyla belirten bir inceleme işareti alır ve bunları eklemeye ya da dışarıda bırakmaya bir kişi karar verir. İncelemeler açıkken tam çalıştırma sizi uyarır.
İşin tamamını çalıştırmadan önce sonuçları kontrol edebilir miyim?
Evet. İlgilendiğiniz düğümleri seçip yalnızca onları çalıştırın, ardından herhangi bir düğümün satırlarını Veri Önizleme'de açın: filtreleyin, sıralayın ve sayfalar arasında gezinin. Son çalıştırmadan bu yana ayarları, bağlantıları veya öncülleri değişen düğümler güncel değil olarak işaretlenir.
Çalışmayı geliştirme ortamından canlıya nasıl taşırım?
Bir işi, Kod Akışını, projeyi, klasörü ya da tüm bir alanı dosyaya aktarın ve diğer ortama içe aktarın. Akış parametreleri, ortamdan ortama değişen değerleri işin kendisinin dışında tutar.
Birden fazla mühendis aynı iş üzerinde nasıl çalışır?
Açık bir işteki herkes orada başka kimlerin olduğunu görür. İlk düzenleme kilidi alır ve diğerleri kilit kalkana kadar işi salt okunur görür; bir yönetici unutulmuş bir kilidi kaldırabilir. Her iş numaralı versiyonlar tutar.
Kullanıcılar nasıl oturum açar, kim neyi görebilir?
Kullanıcılar LDAP veya kimlik sağlayıcınızla oturum açar: Okta, Microsoft, Google ya da Keycloak. Her kaynağın kendi kullanıcıları ve grupları vardır; listeleme, okuma, değiştirme, çalıştırma, kullanma, silme ve paylaşma hakları ayrı ayrı verilir. Katalog politikaları tek bir tabloya kadar iner.
DataFloem nasıl lisanslanıyor?
Community Edition ücretsizdir: kurulum ekranından e-postanızla kayıt olun. Enterprise Edition, kurumunuz için özellikleri ve limitleri belirleyen bir lisans kullanır; yöneticiler lisansı ürün içinden yükler, yeniler ve iptal eder.
Ücretsiz başlayın. Enterprise ile büyüyün.
İki sürüm de kurum içinde çalışır. Community Edition ile başlayın; ekibiniz ve ihtiyaç duyduğunuz kontroller büyüdüğünde Enterprise'a geçin.
Başlamak ücretsiz
Kurulum ekranından e-postanızla kayıt olun ve kendi kurulumunuzda işler ve Kod Akışları oluşturmaya başlayın.
Community Edition EdininKurumunuzun ölçeğinde
Lisansınız özellikleri ve limitleri belirler: kullanıcılar, alanlar, kümeler, CPU ve bellek, saklama süresi. Yöneticiler lisansı ürün içinden yükler, yeniler ve iptal eder.
- LDAP ve tek oturum açma
- İstek ve değişiklik denetim günlükleri
- Kendi sunucularınızda derleme ajanları
- Katalog erişim politikaları
Akışlarınıza bir şekil verin.
DataFloem'i kendi kaynaklarınızla görün. Ekibinizle birlikte bir işi, bir kayma incelemesini ve bir Kod Akışını adım adım inceleyelim.


