Excelで300万行を速く計算する方法

1 : 2022/06/27(月) 23:53:30.277 ID:Wy5eu6rW0: 昨日は寝てた
すまん
2 : 2022/06/27(月) 23:53:46.569 ID:d6Csh/kFa: どういうこと？
3 : 2022/06/27(月) 23:54:25.971 ID:d6Csh/kFa: Excelっていうか、データが300万行あるってこと？
それをExcelで読ませて計算したい？
4 : 2022/06/27(月) 23:54:32.659 ID:qPBFCghA0: 普通に計算すれば良いじゃん🤗
5 : 2022/06/27(月) 23:54:42.454 ID:Wy5eu6rW0: 数十万行のExcelファイルが複数あって
それを速く集計する方法について
6 : 2022/06/27(月) 23:55:18.321 ID:pxS1Q5D5M: アルゴリズムを最適化するってこと？
7 : 2022/06/27(月) 23:55:24.833 ID:d6Csh/kFa: VBA使うならできるよ
1行ずつ読み込んで、配列に格納して計算すればいい
8 : 2022/06/27(月) 23:56:10.395 ID:qPBFCghA0: ハイスペパソコンオーバークロックして使おう
9 : 2022/06/27(月) 23:56:31.266 ID:Wy5eu6rW0: 昨日はExcelの限界は1048576行列にだよってレスが多かったけど
複数ファイル合わせて300万行超えるよって話
10 : 2022/06/27(月) 23:56:36.101 ID:uqNLUd7+a: なんか使う関数次第で結構差が出るんだよな
lookup系のヤツ使うと特に重くなる印象
11 : 2022/06/27(月) 23:56:42.149 ID:+4GTemah0: 上限65Kじゃないの？
12 : 2022/06/27(月) 23:56:52.056 ID:Ye9mfG3g0: 300万行のセルに入力するのがだるい
そしてあっているかわかるの?
18 : 2022/06/27(月) 23:58:46.052 ID:d6Csh/kFa: >>12
だいたいこういうのビックデータ分析だからデータはあっているものとするんじゃない？
俺は1日3000万件収集されるビックデータを分析するために簡易的にVBA使ってた
13 : 2022/06/27(月) 23:57:27.103 ID:S42MDiy50: Microsoftに課金する
14 : 2022/06/27(月) 23:57:41.510 ID:d6Csh/kFa: 1 フォルダ配下のファイル名を取得する
2 ファイル名でループする
3 ファイルを1行ずつ読み込むループさせる
4 必要な値を配列に格納する or 計算結果を変数に格納
15 : 2022/06/27(月) 23:58:06.610 ID:+4GTemah0: 足し算引き算なら余裕じゃないの？
16 : 2022/06/27(月) 23:58:14.281 ID:Wy5eu6rW0: 元データ全部合わせると300万行超えるけど
集計したら数千行で収まります
17 : 2022/06/27(月) 23:58:22.851 ID:poydRE4o0: スパコン買ってくる
19 : 2022/06/27(月) 23:59:02.283 ID:wrFuTcAj0: てか一回部位ルックして計算し終えたら
それをメモ帳に張り付けて関数消す
そのあとメモ帳コピってはりつけるだけで相当速くなる
20 : 2022/06/27(月) 23:59:33.149 ID:d6Csh/kFa: >>19
vlookupとかクソ遅すぎて使い物にならんよ
25 : 2022/06/28(火) 00:01:46.766 ID:DwyGFgbo0: >>19
範囲選択してコピーしてそのまま値だけ貼り付けでよくね
21 : 2022/06/27(月) 23:59:49.341 ID:2Mb/qEyv0: CSVとして結合した単一ファイルを作りExcelの存在を無視して集計する
24 : 2022/06/28(火) 00:01:32.434 ID:hQYtVbDF0: >>21
俺もこれかな
またはAccessで瞬殺かな
22 : 2022/06/28(火) 00:00:27.845 ID:/pn7F43j0: ADOでテーブルに入れてに計算すれば
23 : 2022/06/28(火) 00:00:47.556 ID:a0M/NbKk0: 今やってる事

1つのフォルダに数十万行のExcelファイルが複数ある
それをQueryで一つに集計する
集計はQueryが行うけどSUMIFSと同じようなイメージ
26 : 2022/06/28(火) 00:03:54.080 ID:a0M/NbKk0: VLOOKUPって言う人多いけど365だからもう使わないです
元データを1つのフォルダにぶっこんであとはQueryが勝手に計算する
27 : 2022/06/28(火) 00:04:58.814 ID:3uzmQQWw0: vbaって大量データの場合重いよね
c#でコード書いてる
30 : 2022/06/28(火) 00:06:17.762 ID:a0M/NbKk0: >>27
昨日はC++が秒殺だよっていうレス見たけどどうなのかな
28 : 2022/06/28(火) 00:05:26.367 ID:a0M/NbKk0: PowerQueryとPowerPivotの組み合わせ
いわゆるモダンExcelでもかなり遅い
29 : 2022/06/28(火) 00:05:47.671 ID:n5zw0qusM: mysqlに格納しろ
31 : 2022/06/28(火) 00:06:19.881 ID:ZAPiHnFn0: Queryってなんのこと言ってんの
DBのクエリ？LINQ？EXCELファイルをインポートしたDataTableで加工すんの？
32 : 2022/06/28(火) 00:07:18.043 ID:a0M/NbKk0: >>31
ExcelのPowerQuery
33 : 2022/06/28(火) 00:07:51.836 ID:sjech6tla: よく分からんけど何のデータ？
35 : 2022/06/28(火) 00:09:57.001 ID:a0M/NbKk0: >>33
コード　名前　数
の3列が1ファイルに数十万行ある
コードは全部で1万種類くらい

データが100万行あっても集計したら1万行になるはず
34 : 2022/06/28(火) 00:09:23.896 ID:hX4DG6It0: Webスクレイピングでサイトから撮ってきたデータを一行ずつ処理してるんだけどそれで1分くらいかかるわ
もう少し最適化したい