狠狠躁夜夜躁人人爽超碰97香蕉|色婷婷日日躁夜夜躁|亚洲一区欧美一区在线播|久久久久久性高|伊人久久大香线蕉亚洲

歡迎來到同城快修-附近家電維修、家電清洗、家電安裝服務平臺

24小時家電維修熱線:

400—1558638

當前位置:主頁 > 冰箱 > 維修資訊 >

比C語言還快20%!Mojo首個大模型開放下載,性能達Python版250倍

發布日期:2023-09-19 19:23:05 瀏覽:
比C語言還快20%!Mojo首個大模型開放下載,性能達Python版250倍

明敏 發自 凹非寺

量子位 公眾號 | QbitAI

專為AI而來的新語言Mojo,推理LLaMA2性能比Python提升250倍!

比C語言也要快上20%。

上周五才開放下載,Mojo這么快就自證實力了。

要知道,之前官方號稱Mojo可以比Python快6.8萬倍。

而且作者表示,其實還有進一步提升的空間。

這也展示了通過Mojo進行硬件優化的潛力。

OpenAI創始成員Karpathy已經趕來圍觀了。

目前,LLaMA.mojo已開放下載~

幾行代碼即可下載

帶來這個版本的老哥是一位前Meta工程師Aydyn Tairov。

他利用Mojo的SIMD(Single Instruction Multiple Data,單指令多數據)和向量化原語,將llama2.py轉化為Mojo,性能較Python版本提升了近250倍。

即便在快速運行模式下,Mojo版本也比C語言版本性能提升15-20%。

不過作者嘗試了在Mojo中使用并行模式,速度就慢了很多。

作者進行性能比較的系統和硬件情況如下:

如果你也想下載運行這個模型,需要先在環境中安裝配置Mojo(文檔鏈接見文末)。

首先將存儲庫保存到保存項目時的文件夾:

git clone https://github.com/tairov/llama2.mojo.git

然后打開存儲文件夾:

cd llama2.mojo

下面就可以下載模型:

wget https://huggingface.co/karpathy/tinyllamas/resolve/main/stories15M.bin

然后即可運行:

mojo llama2.mojonum hardware threads: 6 SIMD vector width: 8checkpoint size: 60816028<s>Once upon a time, there was a little girl named Lily. She loved to play outside in the sunshine. One day, she saw a big, red ball in the sky. It was the sun! She thought it was so pretty.Lily wanted to play with the ball, but it was too high up in the sky. She tried to jump and reach it, but she couldn't. Then, she had an idea. She would use a stick to knock the ball down.Lily found a stick and tried to hit the ball. But the stick was too short. She tried again and again, but she couldn't reach it. She felt sad.Suddenly, a kind man came by and saw Lily. He asked her what was wrong. Lily told him about the ball. The man smiled and said, "I have a useful idea!" He took out a long stick and used it to knock the ball down. Lily was so happy! She thanked the man and they played together in the sunshine.<s>Once upon a time, there was a little girl named Lily. She loved to play outside in the sunshine. One day, she saw a big, redachieved tok/s: 264.24870466321244
為啥Mojo這么快?

不過話說回來,為啥Mojo的速度可以這么快?

這還得從Mojo的來歷說起。

它誕生于今年5月,專為AI領域開發,由LLVM之父和Swift之父Chris Lattner帶來。

它兼顧了Python和C++的優點,語法簡單、運行快,而且可以和任何Python庫無縫交互。

自從上線以來,Mojo已經吸引了12萬開發者,GitHub星標達9K。

今年8月,Mojo背后公司Modular新獲1億美元融資,總融資金額達1.3億美元。

Mojo語言這么快的原因,可以歸結為4點。

第1步,通過類型注釋消除Python動態類型的損失,并做代數簡化(algebraic simplifications),避免開方運算以及簡化復數平方運算,達到89倍加速。

第2步,通過向量化實現SIMD(單指令多數據)的并行計算,并讓向量寬度以匹配CPU的FMA(浮點乘法累加單元)數量,達到874倍。

第3步,把前兩步開發好的單線程實現改成多核并行化,對于88核的系統再獲得30倍加速,與原始Python相比已經到了26000倍。

第4步,解決并行化中的加載不均衡問題,讓線程從池中動態獲取任務,得到最終結果68000倍。

幾天前,Mojo正式開放下載。目前支持Linux系統,后續將陸續添加Mac和Windows。

同時支持VSCode插件,可以實現語法高亮和代碼補全等功能。

以及也能像Python一樣在Jupyter里交互式操作。

感興趣的童鞋,可以去上手體驗一下~

GitHub地址:https://github.com/tairov/llama2.mojo

Mojo文檔:https://docs.modular.com/mojo/manual/get-started/index.html

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們,第一時間獲知前沿科技動態

主站蜘蛛池模板: 日韩人妻一区二区三区免费 | 亚洲 欧美 中文 日韩aⅴ| 国产精品∧v在线观看| 亚洲婷婷五月综合狠狠| 日韩视频在线播放一区| av天堂永久资源网| 午夜三级a三级三点在线观看| 中国国语毛片免费观看视频| 国产偷人妻精品一区| 日本一区二区视频不卡 | 97人妻无码一区| 亚洲成av人片天堂网无码| 熟女高潮白浆一区二区| 中文字幕乱码一区二区免费| 欧美日韩视频一区二区| 人妻少妇久久中文字幕456| 久久性色欲av免费精品观看| 免费午夜无码片在线观看影院| 欧美日韩国产精品自在自线| 亚洲精品888p一区二区| 四虎成人精品永久网站| 国产一区二区三区喷水美女久久久| 精品国产一区二区三区不卡在线| av大尺度一区二区三区| 97影院在线午夜| 国产精品日本一区二区| 屁屁影院ccyy备用地址| 久久永久免费人妻精品下载| 精品无码久久久久久尤物| 少妇又爽又刺激视频| 国产激情无码一区二区| 亚洲青青草原男人的天堂| 亚洲一区二区三区小说| 日日猛噜噜狠狠扒开双腿小说| 国产成人精品综合久久久| 欧美性受xxxx白人性爽| 风韵少妇性饥渴推油按摩视频| 亚洲久久久久久中文字幕| 麻豆 美女 丝袜 人妻 中文| 性欧美大战久久久久久久久| 鲁丝一区鲁丝二区鲁丝三区 |