Microsoft เปิดบริการ Azure Data Lake Analytics กับภาษา Query ใหม่ “U-SQL”

สังคมเปิด เป็นตัวช่วยขับดัน Hadoop Ecosystem , CEO ของ Talend กล่าว

facebooktwittergoogle_plusredditpinterestlinkedinmail

ไม่ค่อยได้พูดถึงฝั่งของ Microsoft ว่าทำอะไรไปบ้างเกี่ยวกับ Big Data บน Azure
วันนี้เลยหยิบมาอับเดตกัน

Azure Data Lake Analytics เป็นอีกก้าวสำคัญใน Product Line ของ Azure  Public Cloud Service อันดับสองรองจาก AWS (ห่างกันหลายเท่าตัวอยู่)

หลักใหญ่ใจความสำคัญคือ เจ้า U-SQL ทีมงาน Azure กล่าวถึงที่มาของ U-SQL
ในงานปัจจุบัน Developers และ Data Scientists ต้องเผชิญกับการเชื่อมต่อ Big Data จาก Code แบบยากเย็นแสนเข็น
ให้ดีหน่อยก็ใช้ SQL-based tools ในการเข้าถึงแต่ก็อยากต่อการเพิ่มขยายจากข้อจำกัด SQL
U-SQL ออกแบบมาเพื่อ ร่วมกันเป็นหนึ่ง Code (based on C#) และ SQL

ตัวอย่าง Code 

REFERENCE ASSEMBLY TweetAnalysis;
 
@t = EXTRACT date string
           , time string
           , author string
           , tweet string
     FROM "/input/MyTwitterHistory.csv"
     USING Extractors.Csv();
 
@m = SELECT Tweets.Udfs.get_mentions(tweet) AS refs
     FROM @t;
 
@t = SELECT author, "authored" AS category
     FROM @t
     UNION ALL
    SELECT Tweets.Udfs.cleanup_mentions(r) AS r, "mentioned" AS category
    FROM @m CROSS APPLY EXPLODE(refs) AS Refs(r);
 
@res = SELECT author
            , category
            , COUNT(*) AS tweetcount
       FROM @t
       GROUP BY author, category;
 
OUTPUT @res
TO "/output/MyTwitterAnalysis.csv"
ORDER BY tweetcount DESC
USING Outputters.Csv();

Backend  ของ Azure Data Lake Analytics ก็เป็น HDFS นั้นเอง

และจะมี Azure Data Lake Analytics  Tools ใน Visual Studio สำหรับ Developer ใช้ Debug ง่ายๆ สนับสนุน Hive อีกด้วย

ผมยังถือว่า Microsoft ทำ Tools Development ดีที่สุดในโลก ใช้ง่ายครบวงจรและ intuitive(เข้าถึงได้ง่าย) แน่นอนถ้า Microsoft ทำ Big Data ให้ง่ายเหมือน Excel
ก็คงมีลูกค้า Enterprise อีกเยอะรออยู่ — “Productivity Big Data”

สู้ๆ Microsoft (เชียร์มวยรองตลอด)

 

1401.clip_image004_135F401E

facebooktwittergoogle_plusredditpinterestlinkedinmail
The following two tabs change content below.

Be the first to comment

Leave a Reply

Your email address will not be published.


*