2025.07.28
100年に一度の大雨をどう予測するか？ 空間極値統計による降水量推定
Index目的極値統計とはGumbel分布Weibul 分布空間相関とはモデル概要1. 観測モデル：Gumbel分布による極値モデル化2. 潜在変数の空間構造：CAR分布3. パラメータの事前分布実装使用データデータの確…
Journal
JOURNALについて
データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。
本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。
2025.05.10
論文紹介：CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
Indexはじめに1. 概要2. 従来のAttention機構3. CAT3.1. Engineering-Isomorphic TransformerとCAT3.2. CATの計算新たなAttentionのアイデア計算…
2025.02.26
MBPS（混合ベイズ時系列結合）の実装
Indexはじめに１．論文紹介２．MBPS（混合時系列結合）2.1 ベイズ予測合成（BPS）数式変数利点例: ポアソン分布を用いたMBPS:MBPSが優れている理由３．複数か国での金融時系列予測各国の金融時系列データ詳細…
2024.12.25
LLMのモデルマージ手法
Indexはじめにモデルマージとはモデルマージの種別マージ対象による分類モデルマージの効果モデルマージの手法Editing Models with Task Arithmetic (2022-12-08)TIES-Mer…
2024.10.25
論文紹介：Differential Transformer
Indexはじめに1. 概要2. 従来のTransformer3. Differential Transformer3.1. Differential Attention3.2. Differential Transfo…
2024.08.19
論文紹介：Discovering Preference Optimization Algorithms with and for Large Language Models
Indexはじめに論文の概要LLMの選好最適化についてLLMの選好最適化とはどのように学習するのかデータセットのイメージ学習イメージ論文の背景となる課題意識論文での提案手法結果ケーススタディ実験MT-Benchの評価結果…
2024.08.14
進化的モデルマージの理解と実装
IndexはじめにLLMのモデルマージの概観LLMのモデルマージの位置づけLLMのモデルマージとはLLMのモデルマージのアルゴリズムLLMのモデルマージの種類TIESについてDAREについて進化的モデルマージ進化的モデル…
2024.07.31
vLLMの仕組みをざっくりと理解する
IndexはじめにvLLMとはvLLMの仕組み従来の推論プロセスにおける課題PagedAttention新しいKVキャッシュ管理手法効率的なメモリ共有バッチ処理についてStatic Batching（静的バッチ処理）Co…
2024.07.22
量子フーリエ変換をていねいに解説
Indexはじめに1. 量子フーリエ変換の計算1.1. 量子フーリエ変換の導入1.2. 量子フーリエ変換の導出2. 量子フーリエ変換を行う量子回路2.1. 量子ゲートの導入2.2. 量子回路の作成ステップAステップBステ…
2024.05.17
KAN (Kolmogorov-Arnold Networks) の利点を単純化して理解する
※サムネイルはOpenArt.aiより取得。 Indexはじめに1. MLP vs KAN2. 高校数学でKANの利点を理解する2.1. n次関数の表現力2.2. MLPの変換方法2.3. KANの変換方法おわりに参考オ…